大数据架构师岗位的主要职责概述

大数据架构师岗位的主要职责概述 篇1

　　职责：

　　1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;

　　2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;

　　3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

　　5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;

　　6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。

　　任职要求：

　　1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉BI平台、大数据系统相关技术架构及技术标准;

　　2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

　　3.熟悉大数据相关技术：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

　　4.熟悉制造企业信息化系统及相关数据库技术;

　　5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;

　　6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;

　　7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。

大数据架构师岗位的主要职责概述 篇2

　　职责：

　　1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发;

　　2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

　　3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行;

　　4、负责大数据平台的架构优化，代码评审，并根据业务需求持续优化数据架构，保证产品的可靠性、稳定性;

　　5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现，分享技术经验;

　　6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患意识;

　　7、深入研究大数据相关技术和产品，跟进业界先进技术;

　　【任职要求】

　　1、统计学、应用数学或计算机相关专业大学本科以上学历;

　　2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点)，无埋点方案等，有埋点SDK独立开发经验者优选;

　　3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等，具备实际项目设计及开发经验;

　　4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程

　　5、熟悉Liunx/Unix操作系统，能熟练使用shell/perl等脚本语言，熟练掌握java/python/go/C++中一种或多种编程语言

　　6、具备一定的算法能力，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用经验者优先

　　7、熟悉大数据可视化工具Tableau/echarts

　　8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;

大数据架构师岗位的主要职责概述 篇3

　　职责：

　　根据大数据业务需求，设计大数据方案及架构，实现相关功能;

　　搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行;

　　负责大数据业务的设计和指导具体开发工作;

　　负责公司产品研发过程中的数据及存储设计;

　　针对数据分析工作，能够完成和指导负责业务数据建模。

　　职位要求：

　　计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作经验;

　　精通大数据主流框架(如 Hadoop、hive、Spark等);

　　熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbit MQ等队列技术;

　　熟悉hadoop/spark生态的原理、特性且有实战开发经验;

　　熟悉常用的数据挖掘算法优先.

大数据架构师岗位的主要职责概述 篇4

　　职责：

　　1. 负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。

　　2.负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。

　　3. 结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

　　4. 对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。

　　任职要求：

　　1. 熟悉云计算基础平台，包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境，熟悉控制、计算、存储和网络;

　　2. 掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

　　3. 精通 Java，Python，Shell 编程语言，精通 SQL、NoSQL 等数据库增删改查的操作优化;

　　4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;

　　5. 熟悉 Docker 等容器的编排封装，熟悉微服务的开发和日常调度;

　　6.计算机、软件、电子信息及通信等相关专业本科以上学历，5 年以上软件工程开发经验，2 年以上大数据架构师工作经验。

大数据架构师岗位的主要职责概述 篇5

　　职责：

　　1、大数据平台架构规划与设计;

　　2、负责大数据平台技术框架的选型与技术难点攻关;

　　3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作;

　　4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证;

　　5、培养和建立大数据团队，对团队进行技术指导。

　　任职要求：

　　1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

　　2、精通Java，J2EE 相关技术，精通常见开源框架的架构，精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;

　　3、精通SQL和Mapreduce、Spark处理方法;

　　4、精通大数据系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验;

　　5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型;

　　6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档;

　　7、具有较强的内外沟通能力，良好的团队意识和协作精神;

　　8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

　　9、 具有能源电力行业工作经验者优先。

大数据架构师岗位的主要职责概述 篇6

　　职责：

　　1、负责大数据开发团队建设;

　　2、负责行业大数据产品架构设计与研发;

　　3、负责带领团队进行行业大数据产品关键技术攻关。

　　任职要求：

　　1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验，对数据挖掘及机器学习有较为深刻的理解;

　　2、熟悉Hadoop相关技术，对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

　　3、熟悉Linux，熟练使用Shell或Python，进行脚本编写;

　　4、对数据结构和数据统计分析算法有较为深刻理解;

　　5、掌握至少一种主流关系数据库开发技术：Oracle、SQL Server、MySQL等;

　　6、掌握实时流计算技术，有Spark、Storm开发经验者优先;

　　7、需要具备2年以上研发团队管理经验。

大数据架构师岗位的主要职责概述 篇7

　　1. 负责数澜大数据平台的架构设计和研发，建立数据生态服务，解决海量数据面临的挑战;

　　2. 管理和优化Hadoop、Spark等集群，计算作业的调优，保证集群和平台的高效和稳定;

　　3. 负责Hadoop、Spark、Flink的功能、性能和扩展，解决并实现业务需求;

　　4. 负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;

　　5. 调研和把握当前的最新技术，将其中的先进技术引入到自己的平台中，改善产品，提升竞争力;

大数据架构师岗位的主要职责概述 篇8

　　1、负责大数据项目技术架构评估与设计；

　　2、负责关键功能的开发，技术难题的解决，以及输出代码的关键把控；

　　3、负责对使用关键技术的预研和选型，完成PoC；

　　4、指导工程师完成开发工作，并能分享技术经验。

大数据架构师岗位的主要职责概述 篇9

　　职责：

　　1、负责企业大数据平台的基础建设、管理及制定拓展规划;

　　2、负责大数据平台相关自动化服务工具的设计、开发;

　　3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

　　4、对平台特殊场景化的数据应用制定相关实践方案;

　　5、大数据团队的搭建。

　　任职资格:

　　1、统招本科以上学历，计算机等相关专业，5年以上工作经验;

　　2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

　　3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

　　4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

　　5、熟悉高并发、分布式开发等相关知识，具有后端服务优化相关经验;

　　6、熟悉爬虫常用框架以及反爬技术;

　　7、具有良好的沟通能力、分析问题与攻关问题的能力;

　　8、有责任心，工作积极，对新领域新技术有热情。

大数据架构师岗位的主要职责概述 篇10

　　职责：

　　(1) 负责公司大数据平台搭建，相关的设计和技术开发工作，负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

　　(2) 通过数据分析技术，挖掘有利于营销中各业务场景的变量或规则类标签，以提升模型效果，为文旅、教育业务提供数学模型理论及编程支撑;

　　(3) 对接沟通业务系统研发团队和产品部门，提供数据驱动方面的专业咨询方案，并对业务的大数据应用场景提出建设性意见;

　　(4) 配合部门领导进行项目需求分析、设计开发工作。

　　任职要求：

　　(1) 计算机、统计学，数学等相关专业本科以上学历，5年以上大数据或文旅、教育数据产品设计开发经验，高效高质量产出需求和技术文档;

　　(2) 精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;

　　(3) 熟悉Java，能够独立应用python、R、SAS或类似分析工具进行数据分析;

　　(4) 熟悉大数据挖掘、可视化分析，各种BI算法和产品等，在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验，能够运用数据作为产品解决业务方运营及决策问题;

　　(5) 有互联网行业工作经验者优先，有海量数据的机器学习算法实践经验优先;

　　(6) 工作认真、负责，有良好的团队合作精神，良好的分析能力、沟通技巧。

大数据架构师岗位的主要职责概述 篇11

　　职责：

　　1、 基于公司大数据基础和数据资产积累，负责大数据应用整体技术架构的设计、优化，建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

　　2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。

　　3、 作为大数据技术方案到产品实现的技术负责人，负责关键技术点攻坚工作，负责内部技术推广、培训及知识转移工作。

　　4、 负责大数据系统研发项目任务规划、整体进度、风险把控，有效协同团队成员并组织跨团队技术协作，保证项目质量与进度。

　　5、 负责提升产品技术团队的技术影响力，针对新人、普通开发人员进行有效辅导，帮助其快速成长。

　　任职资格：

　　1、 计算机、数学或相关专业本科以上学历，5-20xx年工作经验，具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验。

　　2、 有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构和实施经验。

　　3、 掌握Hadoop/Spark/Storm生态圈的主流技术及产品，深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。

　　4、 掌握Mysql/Oracle等常用关系型数据库，能够对SQL进行优化。

　　5、 熟悉分布式系统基础设施中常用的技术，如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。

　　6、 熟悉Linux，Java基础扎实，至少3-5年以上Java应用开发经验，熟悉常用的设计模式和开源框架。

大数据架构师岗位的主要职责概述 篇12

　　1、负责大数据平台的架构设计、核心代码开发等任务；根据项目要求编写相关技术文档；

　　2、负责大数据平台的架构评审，代码评审，上线评审；参与数据应用需求、设计、审核和评审；

　　3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施；

　　4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码；

大数据架构师岗位的主要职责概述 篇13

　　职责：

　　1. 负责设计企业级大数据平台的整体架构，从技术层面制定清晰的大数据产品与系统技术架构，并负责实现关键技术和产品。

　　2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等，带领团队完成有质变的技术解决方案。

　　3. 负责组织同事研究行内最前沿的技术发展方向，突破现有的技术难题。

　　4. 负责研究院对外项目合作协调与支持，编写项目建设方案及后期项目建设支持。

　　任职要求：

　　1. 硕士及以上学历，计算机相关专业。

　　2. JAVA基础扎实,不少于8年的一线开发经验，精通Spring boot/MyBatis/Restful API的开发与管理. 熟悉ReactJS/Angular/Vue之一前端开发技术，熟悉Maven或Ant.，熟悉Python语言开发加分。

　　3. 不少于4年大数据的直接研发经验，精通Hadoop/Spark系统，有hands-on的架构设计、性能调优、开发经验。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系统的开发经验。

　　4. 掌握分布式系统原理，对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

　　5. 熟悉分布式系统的监控、运维、故障恢复，高可用原理和设计理念。

　　6. 算法基础扎实，熟悉常见的数据结构，掌握大规模高并发访问、大数据开发等处理经验;熟练的Linux系统, 网络, 内存和存储等方面知识。

　　7. 必须要有千万级别的项目管理经验，包括但不限于前期需求沟通，建设方案编写，中期项目实施，进度汇报，后期项目维护。