网站首页  词典首页

请输入您要查询的范文:

 

标题 大数据架构师岗位的工作职责
范文

大数据架构师岗位的工作职责(通用27篇)

大数据架构师岗位的工作职责 篇1

  职责:

  1、负责大数据平台架构的规划与设计;

  2、负责大数据平台技术框架的选型与技术难点攻关;

  3、参与企业级大数据产品和应用规划;

  4、研究跟进大数据架构领域新技术并分享;

  5、大数据处理和分析应用平台的设计指导。

  任职资格:

  1、 具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

  2、熟悉BI平台架构及相关项目标准,大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;

  3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;

  4、 精通Linux/Unix环境,精通J java、scala、python、R中的一种或多种语言;

  5、 具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;

  6、大专及以上学历,3年及以上工作经验。

大数据架构师岗位的工作职责 篇2

  职责

  1、负责企业级大数据平台、数据云服务的设计与开发;

  2、基于大数据生态圈,支持智慧交通等大数据场景应用实现;

  3、负责公司大数据产品的设计、封装与落地;

  4、负责学习大数据相关算法研究、实现与应用

  任职要求

  1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验,3年以上大数据架构设计、开发经验;

  2、精通大数据生态圈的技术,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备源码级问题解决和集群优化改造能力;

  3、熟悉常用编程语言,包括Java、Python、Scala等;

  4、具有很强的技术研发和创新能力,能有效把握技术发展方向,有较强的执行能力、学习能力、沟通能力、适应能力,责任心强;

大数据架构师岗位的工作职责 篇3

  职责:

  1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;

  2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;

  3.负责超大规模数据平台的搭建、维护和优化;

  4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;

  5.负责大数据平台新技术的开发使用和性能优化,测试。

  任职资格:

  1.计算机相关专业本科及以上学历;

  2. 熟悉hadoop相关各种开源项目,比如HDFS/Hive/Hbase等有实际应用。(5年以上开发经验者优先);

  3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、ETL经验。熟悉日志分析框架chukwa,flume,scribe者优先;

  4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;

  5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;

  6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。

大数据架构师岗位的工作职责 篇4

  职责:

  1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。

  2.面向PB级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。

  3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。

  4.指导团队成员开展数据仓库建设。

  5.参与重点项目的评审,参与企业数据管理体系建设。

  任职要求:

  1.统招本科及以上学历。

  2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与ETL开发经验 ,掌握Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验 。

  3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。

  4. 精通SQL,有一定的SQL性能调优经验,熟悉hive sql的开发。

  5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。

  6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。

  7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。

  8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。

  9.全日制普通本科毕业。

大数据架构师岗位的工作职责 篇5

  职责:

  1. 规划设计大数据平台整体架构,规划各种组件,并且指导技术团队完成相关系统验证、安装、部署、配置;

  2. 负责制定大数据平台技术规范和接口规范,指导研发团队按照规范进行系统开发;

  3. 配合商务人员完成售前技术支持工作;

  4. 完成其他与数据应用有关的技术工作;

  任职要求:

  1. 计算机相关专业本科学历,5年以上工作经验;

  2. 对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;

  3. 对信息安全架构设计及实施有一定的经验;

  4. 熟悉Linux、Windows等操作系统的安装配置;

  5. 熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉Visio等绘图工具的使用;

  6. 有卫生信息化建设经验者优先;有容器安装部署经验者优先。

大数据架构师岗位的工作职责 篇6

  职责:

  1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。

  2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。

  3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。

  4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。

  任职要求:

  1. 硕士及以上学历,计算机相关专业。

  2. JAVA基础扎实,不少于8年的一线开发经验,精通Spring boot/MyBatis/Restful API的开发与管理. 熟悉ReactJS/Angular/Vue之一前端开发技术,熟悉Maven或Ant.,熟悉Python语言开发加分。

  3. 不少于4年大数据的直接研发经验,精通Hadoop/Spark系统,有hands-on的架构设计、性能调优、开发经验。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系统的开发经验。

  4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

  5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。

  6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的Linux系统, 网络, 内存和存储等方面知识。

  7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。

大数据架构师岗位的工作职责 篇7

  职责:

  1、负责大数据项目或产品中架构设计、数据仓库公共层与应用层建模;

  2、负责大数据项目或产品中业务需求的需求理解、数据指标维度需求梳理、数据探查和分析,指导技术团队进行工作;

  3、负责大数据项目中的具体技术管理工作,完成验收目标。

  4、发现并解决数据质量问题,推动整体数据质量提升。

  任职要求:

  1、计算机相关专业,3年以上数据研发与数据仓库相关开发经验;

  2、熟练掌握维度建模方法,有大型数仓构建经验优先;

  3、精通Oracle/DB2/Teradata等主流数据库编程,有较好的SQL性能调优经验;

  4、扎实的编程基础和动手能力,精通至少一门编程语言,有大数据、分布式开发经验尤佳;

  5、有良好沟通协调能力,有带领小团队或项目管理工作经验;

  6、具备很强的责任心,做事细致、严谨,同时需要具备较强的沟通和学习能力,能快速理解行业的需求,对农业等行业数据应用有经验者优先;

  7、能够接受出差。

大数据架构师岗位的工作职责 篇8

  职责:

  1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向),基于业务场景设计最优的系统解决方案。

  2)构架支持大数量级的数据的大数据平台系统,及相关监控,拓展系统设计及实现。

  3)利用Hadoop、Spark等大数据技术对海量数据进行处理,支持BI和数据科学(建模)的应用实现。

  4)对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。

  任职资格

  1)统招本科或以上学历,计算机相关专业, 5年以上软件开发经验、3年以上大数据项目经验。

  2)具备较丰富的大数据平台相关构建,维护及调优经验,有大数据量级下的大数据集市相关经验。

  3)具备较丰富的基于Hadoop或Hive或Spark等大数据处理项目经验,具备一定的数据挖掘经验。

  4) 具有阿里云的EMR(emapreduce)的经验者优先考虑。

  5)具有良好的业务理解、沟通和协作能力,具有较强的学习和总结能力。

  6)优秀的团队合作精神、诚实、勤奋、严谨,敢于接受挑战。

  7)机器学习技术、数据挖掘经验丰富者优先考虑。

大数据架构师岗位的工作职责 篇9

  职责:

  1.负责过多个大数据项目的架构;

  2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;

  3.精通大数据实时流式处理的设计和应用;

  3.熟悉大数据平台调优,具备大数据生产平台调优经验;

  4.金融行业,运营商行业大数据架构经验更优;

  5.研究大数据技术的最新发展,并引入到公司技术架构;

  6.指导大数据工程师的日常工作,并培养技术骨干。

  任职资格:

  1.计算机相关专业本科或以上学历;

  2.具有5年以上大数据相关开发经验;

  3.具有2年以上带团队经验

  4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;

  5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;

  6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;

  7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;

  8.沟通顺畅,重点突出,高效。

大数据架构师岗位的工作职责 篇10

  职责:

  1. 负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

  2. 参与数据挖掘和建模相关核心算法的代码实现

  3. 负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

  4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

  5. 负责数据库设计、应用架构设计、核心技术选型等工作

  6. 协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

  7. 培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

  任职要求:

  1. 熟悉大数据和数据仓库的系统架构设计方法

  2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)

  3. 熟悉分布式系统架构,有分布式实时、离线和机器学习平台的架构和开发经验,具备海量数据清洗、分析处理及存储的实践经验

  4. 熟练使用JAVA,具有大规模分布式系统调优经验

  5. 熟悉AI相关算法,熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;

  6. 具备良好的团队合作精神,对工作充满激情。

  7. 熟悉FusionInsight平台开发经验者优先

大数据架构师岗位的工作职责 篇11

  1. 负责大数据项目整体架构规划,包括应用架构、技术架构、物理架构和数据架构等;

  2. 负责指导工程师进行技术验证与实现,核心技术问题的攻关,解决项目开发过程中的技术难题;

  3. 负责项目对外技术沟通,具有较强的沟通,表达和文档撰写能力;

  4. 根据公司项目和业务发展特点,负责研究相关大数据前沿技术;

  5. 推动技术能力的沉淀。

大数据架构师岗位的工作职责 篇12

  职责:

  1、数据分析软件平台架构搭建

  2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

  3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

  4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

  任职要求:

  1、硕士以上,计算机或先关专业;

  2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

  3、 具备良好的组件级建模能力,熟悉HTTP、TCP等协议

  4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.

  5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署

  6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师岗位的工作职责 篇13

  职责:

  负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;

  负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;

  负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

  负责协助策略和算法工作,保障数据挖掘建模和工程化;

  负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

  负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

  负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

  任职要求:

  本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

  精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;

  熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

  熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

  熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。

  具备源码级问题解决和集群优化改造能力者优先;

  能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;

  逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。

  具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

  具备良好的文档撰写能力和技术团队管理能力

大数据架构师岗位的工作职责 篇14

  职责:

  1、负责公司的大数据平台的数仓架构、系统架构设计;

  2、负责带领团队完成舆情分析相关的挖掘方案设计;

  3、负责大数据研发组团队管理;

  4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;

  5、负责研发规范制定,研究行业前沿技术;

  6、参与产品规划及设计讨论。

  任职要求:

  1、本科五年工作经验及以上,有至少五年的大数据技术实践经验,有NLP或AI相关经验;

  2、有很强的架构设计能力和良好的表达能力;

  3、有一定的项目管理及团队管理能力;

  4、精通Hadoop、Spark生态圈中的常用组件原理及应用;

  6、理解媒体业务,精通数据仓库的规划和设计;

  5、精通掌握Java或Python编程,有性能调优能力;

  4、熟悉NLP算法原理及应用;

  6、对新生事物或者新技术有浓厚兴趣,学习能力强。

大数据架构师岗位的工作职责 篇15

  职责:

  1)负责公司软件产品整体架构的设计和关键功能实现

  2)负责公司架构长期看护以及优化;

  3)负责软件部门各模组间的协调配合;

  4)提高巩固软件代码质量;

  5)负责大数据流式框架的设计、优化及部署;

  6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

  任职资格:

  1)本科及以上学历,计算机相关专业,5年以上工作经验;

  2)频繁换工作,比如一年一个公司,请绕路;

  3)3年以上产品架构经验,主导过产品的成功上线;

  4)对底层设备通讯协议,B/S系统,手机APP开发等都有一定的了解;

  5)对各种主流语言C#\Java\Pathon有一定的了解

  5)精通各种大数据架构,并深入研究过其中一种,有storm\kafka等流式实时处理经验为佳

  6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;

  7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

大数据架构师岗位的工作职责 篇16

  职责:

  1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

  2.负责制定大数据平台调用约束和规范;

  3.负责大数据方向技术难题的解决,以及代码质量的把控;

  4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。

  任职要求:

  1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

  2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;

  3.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;

  4.精通Java服务器编程,熟悉JVM原理,对数据结构和算法设计有较为深刻的理解;

  5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构,熟悉原理、源码、集群部署,包括参数优化、Bug修复,贡献过代码或提交过bug者优先

  6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;

  7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

  8.具有良好的文档编写能力,可进行方案设计、架构设计。

大数据架构师岗位的工作职责 篇17

  职责:

  1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

  2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

  3、进行大数据系统框架设计、模型算法开发;

  4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

  5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

  任职资格:

  1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

  2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

  3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

  4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;

  5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

  6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

  7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

大数据架构师岗位的工作职责 篇18

  职责:

  1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

  2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

  3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

  5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

  6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

  任职要求:

  1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;

  2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

  3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

  4.熟悉制造企业信息化系统及相关数据库技术;

  5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

  6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

  7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

大数据架构师岗位的工作职责 篇19

  职责

  1、负责公司大数据平台的整体架构设计,包含数据收集、数据存储、数据挖掘、数据输出;

  2、负责规划从数据源到数据应用的整体流程,并参与用户产品和数据产品的决策;

  3、负责海量数据分析、用户行为分析,构建用户数据模型;

  4、负责解决核心技术问题,对技术方案进行决策;

  5、技术团队管理。

  6、熟悉手机IOS、安卓系统APP开发

  任职资格

  1、计算机相关专业毕业,本科以上学历;

  2、5年以上相关工作经验,具备软件产品架构设计经验,熟练掌握高性能、高扩展性架构设计方法;

  3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;

  4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大数据技术,并能够基于上述项目开发大数据相关应用;

  5、熟悉基本数据挖掘方法和技术;

  6、强烈的敬业精神,良好的沟通与协调能力,能有效组织协调团队完成各类开发工作;

  7、热爱技术,相信数据的价值,对大数据有深刻的理解。

大数据架构师岗位的工作职责 篇20

  职责:

  1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;

  2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;

  3、推动优化跨部门的业务流程, 参与业务部门的技术方案设计、评审、指导;

  4、负责技术团队人员培训、人员成长指导。

  5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公

  任职要求:

  1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;

  2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

  3、掌握git、maven、gradle、junit等工具和实践, 注重文档管理、注重工程规范优先;

  4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Spring cloud微服务架构设计经验优先;

  5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。

大数据架构师岗位的工作职责 篇21

  职责:

  1、负责企业大数据平台的基础建设、管理及制定拓展规划;

  2、负责大数据平台相关自动化服务工具的设计、开发;

  3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

  4、对平台特殊场景化的数据应用制定相关实践方案;

  5、大数据团队的搭建。

  任职资格:

  1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

  2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

  3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

  4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

  5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

  6、熟悉爬虫常用框架以及反爬技术;

  7、具有良好的沟通能力、分析问题与攻关问题的能力;

  8、有责任心,工作积极,对新领域新技术有热情。

大数据架构师岗位的工作职责 篇22

  职责:

  1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;

  2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

  3、负责业务平台数据统计分析模块的设计与规划;

  4、负责公司产品研发过程中的数据及存储设计;

  5、带领和培养团队完成组织分解的目标;

  任职要求:

  1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;

  2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

  3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;

  4、熟悉Linux系统,熟练使用shell/perl/python脚本处理问题;

  5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

  6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等

大数据架构师岗位的工作职责 篇23

  职责:

  1、 负责大数据仓库、数据集市的规划及实现,负责大数据中台的设计和核心开发工作;

  2、 负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证;

  3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;

  4、 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线

  任职资格:

  1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;

  2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

  3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、flink、spark等;

  4、 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先,具有风控经验背景的人优先;

  5、 具备独立的深度思考能力,给出结合实际情况的较为理想的技术解决方案。

大数据架构师岗位的工作职责 篇24

  职责:

  1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

  2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

  3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

  4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

  任职资格:

  1、计算机或相关专业本科及以上学历;

  2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

  3、良好的编程开发能力,精通PHP及其他开发语言;

  4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

  5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;

  6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

  7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

大数据架构师岗位的工作职责 篇25

  职责:

  1.负责整个大数据平台架构的设计和构建;

  2.负责构建大数据平台的数据交换、任务调度等通用平台;

  3.制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力。

  4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码。

  5.持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点。

  任职要求:

  1.3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验

  2.大规模数据处理的架构和设计实战经验

  3.精通Spark、MR,熟练HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,并具有丰富的大型数据平台工程经验

  4.深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法

  5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练Linux/Unix平台上的开发环境

  6.本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先。

  7.具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精

大数据架构师岗位的工作职责 篇26

  职责:

  1、负责大数据平台技术框架的技术选型和搭建;

  2、负责核心技术问题公关,建设高可靠性,扩展性及高性能大数据/数据应用平台;

  3、负责规划数据挖掘的整体流程,负责大数据开发团队业务需求开发;

  4、与其他团队密切配合,寻求数据层面的业务价值,利用数据分析结论推动产品优化;

  5、研究和分享大数据架构领域新技术。

  任职要求:

  1、计算机相关专业全日制统招本科及以上;

  2、5年以上工作经验,至少3年以上大数据项目相关工作经验,能够设计大型大数据系统的架构和技术方案;

  3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

  4、熟悉数据挖掘,了解典型大数据算法和策略;

  5、熟悉主流Java技术框架,精通关系型数据库及SQL语言,熟悉NoSQL/JSON/XML;

  6、有较强的学习能力和问题解决能力,逻辑严密、思路清晰;

  7、有数据仓库经验者优先,有金融行业项目经验者优先。

大数据架构师岗位的工作职责 篇27

  职责:

  1、负责大数据平台架构的评估、规划和设计 ;负责海量数据采集、处理及存储、应用方案的技术选型及架构实现;

  2、开发大数据平台的核心代码,负责大数据平台的搭建,完成系统调试、集成与实施,技术难题的解决,保证大数据产品的上线运行 ;

  3、根据业务需求持续优化数据架构,保证产品的可靠性、稳定性 ;

  4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现 ,分享技术经验;

  5、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  6、深入研究大数据相关技术和产品,跟进业界先进技术;

  任职资格:

  1.本科及以上学历,数学或计算机相关专业毕业,不少于5年的工作经验,具有扎实的计算机基础理论知识;

  2.有3年以上Hadoop、Spark、Hbase平台性能调优经验;熟悉sparkstreaming等实时计算技术

  3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具备实际项目设计及开发经验;

  4.熟悉sparkstreaming等相关的实时计算技术;

  5.熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术,并具备多年的实际工作经验;

  6.熟悉主流关系型数据库(Oracle、MySql)、NoSql数据库,熟悉pl/sql编程;精通Linux操作系统,熟练使用Java;熟悉常用框架.如Spring、MyBatis等;

  7.具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;

随便看

 

范文大全网提供教案、简历、作文、工作总结等各类优秀范文及写作素材,是综合性免费范文平台。

 

Copyright © 2004-2023 triyia.com All Rights Reserved
更新时间:2025/2/6 6:51:49