网站首页  词典首页

请输入您要查询的范文:

 

标题 大数据架构师岗位的工作职责
范文

大数据架构师岗位的工作职责(精选30篇)

大数据架构师岗位的工作职责 篇1

  职责

  1、负责企业级大数据平台、数据云服务的设计与开发;

  2、基于大数据生态圈,支持智慧交通等大数据场景应用实现;

  3、负责公司大数据产品的设计、封装与落地;

  4、负责学习大数据相关算法研究、实现与应用

  任职要求

  1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验,3年以上大数据架构设计、开发经验;

  2、精通大数据生态圈的技术,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备源码级问题解决和集群优化改造能力;

  3、熟悉常用编程语言,包括Java、Python、Scala等;

  4、具有很强的技术研发和创新能力,能有效把握技术发展方向,有较强的执行能力、学习能力、沟通能力、适应能力,责任心强;

大数据架构师岗位的工作职责 篇2

  职责:

  1、负责大数据平台架构的规划与设计;

  2、负责大数据平台技术框架的选型与技术难点攻关;

  3、参与企业级大数据产品和应用规划;

  4、研究跟进大数据架构领域新技术并分享;

  5、大数据处理和分析应用平台的设计指导。

  任职资格:

  1、 具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

  2、熟悉BI平台架构及相关项目标准,大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;

  3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;

  4、 精通Linux/Unix环境,精通J java、scala、python、R中的一种或多种语言;

  5、 具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;

  6、大专及以上学历,3年及以上工作经验。

大数据架构师岗位的工作职责 篇3

  职责:

  1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。

  2.面向PB级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。

  3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。

  4.指导团队成员开展数据仓库建设。

  5.参与重点项目的评审,参与企业数据管理体系建设。

  任职要求:

  1.统招本科及以上学历。

  2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与ETL开发经验 ,掌握Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验 。

  3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。

  4. 精通SQL,有一定的SQL性能调优经验,熟悉hive sql的开发。

  5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。

  6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。

  7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。

  8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。

  9.全日制普通本科毕业。

大数据架构师岗位的工作职责 篇4

  职责:

  1. 规划设计大数据平台整体架构,规划各种组件,并且指导技术团队完成相关系统验证、安装、部署、配置;

  2. 负责制定大数据平台技术规范和接口规范,指导研发团队按照规范进行系统开发;

  3. 配合商务人员完成售前技术支持工作;

  4. 完成其他与数据应用有关的技术工作;

  任职要求:

  1. 计算机相关专业本科学历,5年以上工作经验;

  2. 对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;

  3. 对信息安全架构设计及实施有一定的经验;

  4. 熟悉Linux、Windows等操作系统的安装配置;

  5. 熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉Visio等绘图工具的使用;

  6. 有卫生信息化建设经验者优先;有容器安装部署经验者优先。

大数据架构师岗位的工作职责 篇5

  职责:

  1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;

  2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;

  3.负责超大规模数据平台的搭建、维护和优化;

  4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;

  5.负责大数据平台新技术的开发使用和性能优化,测试。

  任职资格:

  1.计算机相关专业本科及以上学历;

  2. 熟悉hadoop相关各种开源项目,比如HDFS/Hive/Hbase等有实际应用。(5年以上开发经验者优先);

  3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、ETL经验。熟悉日志分析框架chukwa,flume,scribe者优先;

  4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;

  5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;

  6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。

大数据架构师岗位的工作职责 篇6

  职责:

  1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;

  2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;

  3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;

  4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。

  职位要求:

  1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;

  2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;

  3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;

  4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;

  5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;

  6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。

大数据架构师岗位的工作职责 篇7

  职责:

  1、负责大数据平台的技术选型,基于Spark、Hadoop大数据平台建设和开发;

  2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

  3、构建数据中台,为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

  4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

  5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计,支撑解决方案实施。

  任职要求:

  1、本科及以上学历,具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;

  2、熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

  3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用,并能进行性能调优;

  4、具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战。

大数据架构师岗位的工作职责 篇8

  职责:

  1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;

  2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;

  3、推动优化跨部门的业务流程, 参与业务部门的技术方案设计、评审、指导;

  4、负责技术团队人员培训、人员成长指导。

  5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公

  任职要求:

  1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;

  2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

  3、掌握git、maven、gradle、junit等工具和实践, 注重文档管理、注重工程规范优先;

  4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Spring cloud微服务架构设计经验优先;

  5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。

大数据架构师岗位的工作职责 篇9

  职责:

  1. 负责公司大数据平台的设计和开发,负责spark, hadoop, flink等云计算平台的开发和优化;制定数据架构规范,进行核心代码编写,指导团队落地;

  2. 负责数据基础架构和数据处理体系的升级和优化,技术难题攻关,持续提升核心系统性能,保证系统的安全、稳定、高效运行

  3. 设计并实现对BI分析、数据产品开发、算法开发的系统性支持

  4. 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面参与制定并实践团队的技术发展路线

  5. 建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队,提升数据研发能力

  任职要求:

  1. 有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径,能够开发创新而实际的分析方法以解决复杂的商业问题

  2. 有作为技术负责人系统化解决问题的成功案例;有海量数据建模实践经验优先

  3. 熟练掌握Hadoop、Spark、Flink、HBase的原理特性以及适用场景,精通流式计算开发,有开源二次开发经验者优先,有NLP数据处理经验者优先

  4. 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力

  5. 本科以上学历,扎实的计算机专业基础,有5年以上大数据平台开发经验;

大数据架构师岗位的工作职责 篇10

  职责:

  1、负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;

  2、负责公司项目的整体评估、设计、架构及关键模块的开发;

  3、负责架构优化,协助团队解决开发过程中遇到的技术难题;

  4、负责新技术的调研和大数据相关开源组件的研究,并能在团队进行推广应用;

  5、参与数据分析、数据建模、项目核心模块及核心框架的开发;

  6、负责大数据平台的性能条有和问题诊断。

  任职要求:

  1、计算机相关专业,本科及以上学历,3-5年以上工作经验,2-3年大数据相关经验;

  2、具有扎实的大数据和数据仓库理论功底,负责过大数据平台或数据仓库设计;

  3、对基于Hadoop的大数据体系有深入的认识,具备相关产品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)项目应用研发经验,有Hadoop集群搭建和管理经验,度过Hadoop和Spark源码;

  4、熟悉Linux和Python语言,了解Scala原理和底层技术;

  5、熟悉分布式系统的架构及对其进行设计和优化,对海量数据的清晰、分析处理及存储有相关的实战经验;

  6、算法基础扎实,熟悉常见的数据结构,深入理解分布式算法和以上提到的分布式系统,

  7、必须有一线coding的能力;

  8、有统计学、数学知识,海量数据处理、分析和挖掘,大型互联网公司从业经历着优先。

大数据架构师岗位的工作职责 篇11

  职责:

  1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向),基于业务场景设计最优的系统解决方案。

  2)构架支持大数量级的数据的大数据平台系统,及相关监控,拓展系统设计及实现。

  3)利用Hadoop、Spark等大数据技术对海量数据进行处理,支持BI和数据科学(建模)的应用实现。

  4)对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。

  任职资格

  1)统招本科或以上学历,计算机相关专业, 5年以上软件开发经验、3年以上大数据项目经验。

  2)具备较丰富的大数据平台相关构建,维护及调优经验,有大数据量级下的大数据集市相关经验。

  3)具备较丰富的基于Hadoop或Hive或Spark等大数据处理项目经验,具备一定的数据挖掘经验。

  4) 具有阿里云的EMR(emapreduce)的经验者优先考虑。

  5)具有良好的业务理解、沟通和协作能力,具有较强的学习和总结能力。

  6)优秀的团队合作精神、诚实、勤奋、严谨,敢于接受挑战。

  7)机器学习技术、数据挖掘经验丰富者优先考虑。

大数据架构师岗位的工作职责 篇12

  职责:

  根据大数据业务需求,设计大数据方案及架构,实现相关功能;

  搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

  负责大数据业务的设计和指导具体开发工作;

  负责公司产品研发过程中的数据及存储设计;

  针对数据分析工作,能够完成和指导负责业务数据建模。

  职位要求:

  计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

  精通大数据主流框架(如 Hadoop、hive、Spark等);

  熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;

  熟悉hadoop/spark生态的原理、特性且有实战开发经验;

  熟悉常用的数据挖掘算法优先.

大数据架构师岗位的工作职责 篇13

  职责:

  1、负责大数据项目平台架构的评估、规划和设计

  2、开发大数据平台的核心模块代码,负责大数据平台的搭建,完成系统调试、集成与实施,保证大数据产品的上线运行

  3、根据业务需求整合优化数据架构,保证产品的可靠性、稳定性

  4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现

  5、深入研究大数据相关技术和产品,跟进业界先进技术;

  6、根据项目要求编写相关技术文档;

  7、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  8、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

  9. 负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;

  10. 负责对使用关键技术的预研和选型,完成 PoC ;

  11. 指导工程师完成开发工作,并能分享技术经验。

  任职资格:

  1、精通Linux操作系统,熟练使用Java;

  2、3年以上大数据项目实战经验,两个项目的架构设计经验,熟悉Hadoop、Hbase、Storm、Spark、Pig等开源框架,并熟悉其工作原理;

  3、有Hadoop、Spark、Hbase平台性能调优经验;

  4、熟悉其它分布式存储相关技术,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;

  5、熟悉Java开发常用框架.如Spring、MyBatis等;

  6、熟悉关系型数据库如oracle及数据库编程。

  7、能够根据项目情况安排人力、分配任务,具有较强的团队管理能力。

  8、硕士以上学历,20xx年以上的工作经验。

大数据架构师岗位的工作职责 篇14

  职责:

  1. 负责大数据平台的基础技术规划,编制相关规范文档。

  2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。

  3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

  4. 负责大数据相关技术发展方向的预研。

  5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

  6. 制定大数据平台中数据质量,业务质量监控及管理办法。

  岗位要求:

  1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。

  2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

  3. 精通大型数据库Oracle、SqlServer等的开发。

  4. 精通java,Python中的一种或多种语言。

  5. 熟悉容器、虚拟化、微服务框架等相关技术。

  6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。

  7. 熟悉R,Python,SAS、SPSS等数据挖掘经验者优先。

  8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。

  9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。

大数据架构师岗位的工作职责 篇15

  职责:

  1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

  2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

  3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

  4、负责指导研发完成大数据产品的开发

  5、带领团队进行产品核心技术的创新和积累

  岗位要求:

  1、熟悉BI和大数据领域的解决方案,具备该领域全面的技术积累,包括报表平台,OLAP引擎和DB,ETL,数据仓库建模和设计,海量分布式数据处理分析架构;

  2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验,并有成功的项目实践;

  3、4年以上Hadoop实战经验,熟悉Hadoop底层文件系统及分布式计算框架,具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力,对大规模数据并行计算、传输、处理等有丰富的经验;

  4、有实际应用storm、spark、flume、kafka等项目经验优先;

  5、卓越的技术领导力,善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题,并能提供合理解决方案,有大中型互联网企业工作背景优先。

大数据架构师岗位的工作职责 篇16

  职责:

  (1) 负责公司大数据平台搭建,相关的设计和技术开发工作,负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

  (2) 通过数据分析技术,挖掘有利于营销中各业务场景的变量或规则类标签,以提升模型效果,为文旅、教育业务提供数学模型理论及编程支撑;

  (3) 对接沟通业务系统研发团队和产品部门,提供数据驱动方面的专业咨询方案,并对业务的大数据应用场景提出建设性意见;

  (4) 配合部门领导进行项目需求分析、设计开发工作。

  任职要求:

  (1) 计算机、统计学,数学等相关专业本科以上学历,5年以上大数据或文旅、教育数据产品设计开发经验,高效高质量产出需求和技术文档;

  (2) 精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;

  (3) 熟悉Java,能够独立应用python、R、SAS或类似分析工具进行数据分析;

  (4) 熟悉大数据挖掘、可视化分析,各种BI算法和产品等,在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验,能够运用数据作为产品解决业务方运营及决策问题;

  (5) 有互联网行业工作经验者优先,有海量数据的机器学习算法实践经验优先;

  (6) 工作认真、负责,有良好的团队合作精神,良好的分析能力、沟通技巧。

大数据架构师岗位的工作职责 篇17

  职责:

  1、 基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

  2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。

  3、 作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。

  4、 负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。

  5、 负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。

  任职资格:

  1、 计算机、数学或相关专业本科以上学历,5-20xx年工作经验,具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验。

  2、 有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构和实施经验。

  3、 掌握Hadoop/Spark/Storm生态圈的主流技术及产品,深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。

  4、 掌握Mysql/Oracle等常用关系型数据库,能够对SQL进行优化。

  5、 熟悉分布式系统基础设施中常用的技术,如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。

  6、 熟悉Linux,Java基础扎实,至少3-5年以上Java应用开发经验,熟悉常用的设计模式和开源框架。

大数据架构师岗位的工作职责 篇18

  职责:

  1、对业务需求深入分析,从而进行大数据平台核心应用的架构设计、开发和技术支持;

  2、规划业务应用系统和基础平台的技术架构,参与需求分析、建模、架构设计、技术决策以及详细设计;

  3、把握复杂系统的设计,确保系统的架构质量,编写核心部分代码;

  4、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关;

  5、在大数据平台建设路线图指导下,进行架构实施和交付物投递,同时确保研发质量和方向的准确性;

  6、进行团队技术的培训和梯队建设岗位要求;

  任职条件:

  1、本科或以上学历,计算机相关专业,8年以上研发经验,3年以上大数据平台相关工作经验;

  2、精通Java开发技术,熟悉Shell、Scala语言和PYTHON优先;

  3、编程基础扎实,熟悉I/O、多线程、集群等基础框架和原理,熟悉分布式、缓存、消息等机制;

  4、熟悉常用设计模式,代码评审规则,单元测试,持续集成;

  5、熟悉AWS云服务或阿里云服务;

  6、熟悉容器技术原理、生态系统,熟悉Docker、Mesos、Kubernetes等容器系统、大规模容器资源调度系统、分布式应用生命周期。

大数据架构师岗位的工作职责 篇19

  职责:

  1、负责大数据开发团队建设;

  2、负责行业大数据产品架构设计与研发;

  3、负责带领团队进行行业大数据产品关键技术攻关。

  任职要求:

  1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

  2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

  3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

  4、对数据结构和数据统计分析算法有较为深刻理解;

  5、掌握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;

  6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

  7、需要具备2年以上研发团队管理经验。

大数据架构师岗位的工作职责 篇20

  职责:

  1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

  2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计

  3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型

  4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队

  岗位要求:

  1、统招本科学历,3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的SQL性能调优经验;

  2、拥有Python,R等数学建模工具的使用经验,并具备一定的数据处理和建模经验,可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

  3、熟悉统计学基本原理,做过实战的数据建模项目;

  4、有分布式数据仓库建设相关经验者优先,具备电信行业数据仓库建设相关经验者优先;

大数据架构师岗位的工作职责 篇21

  1. 负责数澜大数据平台的架构设计和研发,建立数据生态服务,解决海量数据面临的挑战;

  2. 管理和优化Hadoop、Spark等集群,计算作业的调优,保证集群和平台的高效和稳定;

  3. 负责Hadoop、Spark、Flink的功能、性能和扩展,解决并实现业务需求;

  4. 负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;

  5. 调研和把握当前的最新技术,将其中的先进技术引入到自己的平台中,改善产品,提升竞争力;

大数据架构师岗位的工作职责 篇22

  1、负责大数据平台资源规划、权限控制、运维架构设计,为各产品业务提供稳定、高效、安全的运行环境;

  2、负责实时,离线数据分析处理及实时平台的建设和搭建

  3、熟悉 Flink 流式计算引擎的使用以及源码原理,并且有相关的流式处理平台的经验。

  4、Java基础扎实,熟练掌握垃圾回收,网络,多线程编程,了解 python 或 scala

  5、负责大数据平台技术架构、数据架构的分析与设计;

大数据架构师岗位的工作职责 篇23

  职责:

  1、数据分析软件平台架构搭建

  2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

  3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

  4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

  任职要求:

  1、硕士以上,计算机或先关专业;

  2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

  3、 具备良好的组件级建模能力,熟悉HTTP、TCP等协议

  4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.

  5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署

  6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师岗位的工作职责 篇24

  1、建设大数据平台,主要技术为k8s, docker;

  2、跟进开源社区的更新,阅读文档,验证feature;

  3、阅读容器生态圈各组件的开源项目代码,开发新功能;

  4、持续提升平台的性能和稳定性。

大数据架构师岗位的工作职责 篇25

  职责:

  1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

  2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

  3、进行大数据系统框架设计、模型算法开发;

  4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

  5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

  任职资格:

  1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

  2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

  3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

  4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;

  5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

  6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

  7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

大数据架构师岗位的工作职责 篇26

  职责:

  1、负责大数据平台技术框架的技术选型和搭建;

  2、负责核心技术问题公关,建设高可靠性,扩展性及高性能大数据/数据应用平台;

  3、负责规划数据挖掘的整体流程,负责大数据开发团队业务需求开发;

  4、与其他团队密切配合,寻求数据层面的业务价值,利用数据分析结论推动产品优化;

  5、研究和分享大数据架构领域新技术。

  任职要求:

  1、计算机相关专业全日制统招本科及以上;

  2、5年以上工作经验,至少3年以上大数据项目相关工作经验,能够设计大型大数据系统的架构和技术方案;

  3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

  4、熟悉数据挖掘,了解典型大数据算法和策略;

  5、熟悉主流Java技术框架,精通关系型数据库及SQL语言,熟悉NoSQL/JSON/XML;

  6、有较强的学习能力和问题解决能力,逻辑严密、思路清晰;

  7、有数据仓库经验者优先,有金融行业项目经验者优先。

大数据架构师岗位的工作职责 篇27

  职责:

  1、负责DMP技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;

  2、负责设计构建DMP数据采集、存储及分析框架,设计数据处理的技术流程和规范;

  3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;

  4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

  岗位要求:

  1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;

  2、精通大数据处理技术,熟悉Hadoop/Storm技术体系,有Hadoop、Hive、Hbase项目经验;

  3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

  4、对数据敏感,洞察力强,了解国内外广告发展趋势;

  5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;

  6、熟悉DMP/RTB技术原理,了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。

大数据架构师岗位的工作职责 篇28

  职责:

  1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

  2、负责大数据平台的开发和维护,以及对外服务接口的开发;

  3、负责大数据平台的优化和改进工作。

  任职要求

  1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;

  2、熟知Hadoop生态圈体系,精通Hadoop/Spark/Storm/Kafka中的一项或几项,深刻理解MapReduce的运行原理和机制,有MPI经验者尚佳;

  3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉Neo4j者尚佳;

  4、具有机器学习相关项目经验者优先。

大数据架构师岗位的工作职责 篇29

  职责:

  1、大数据平台架构规划与设计;

  2、负责大数据平台技术框架的选型与技术难点攻关;

  3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;

  4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;

  5、培养和建立大数据团队,对团队进行技术指导。

  任职要求:

  1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

  2、精通Java,J2EE 相关技术,精通常见开源框架的架构,精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;

  3、精通SQL和Mapreduce、Spark处理方法;

  4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有DW,BI架构体系的专项建设经验;

  5、对大数据体系有深入认识,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型;

  6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;

  7、具有较强的内外沟通能力,良好的团队意识和协作精神;

  8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

  9、 具有能源电力行业工作经验者优先。

大数据架构师岗位的工作职责 篇30

  职责:

  1、 负责大数据仓库、数据集市的规划及实现,负责大数据中台的设计和核心开发工作;

  2、 负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证;

  3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;

  4、 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线

  任职资格:

  1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;

  2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

  3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、flink、spark等;

  4、 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先,具有风控经验背景的人优先;

  5、 具备独立的深度思考能力,给出结合实际情况的较为理想的技术解决方案。

随便看

 

范文大全网提供教案、简历、作文、工作总结等各类优秀范文及写作素材,是综合性免费范文平台。

 

Copyright © 2004-2023 triyia.com All Rights Reserved
更新时间:2025/3/25 14:28:00