大数据架构师的具体职责 篇1
职责：
1、数据分析软件平台架构搭建
2、负责深度学习核心框架或高性能后台服务系统的架构设计工作，包括系统总体规划、架构设计、系统分析、软件实现、性能优化;
3、指导开发人员开发，并解决系统出现的问题，理解物业需求;
4、制定开发计划和控制开发进度，负责指导研发团队开展设计工作;
任职要求：
1、硕士以上，计算机或先关专业;
2、5年左右软件开发经验，含3年以上系统分析、设计经验，有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验，
3、 具备良好的组件级建模能力，熟悉HTTP、TCP等协议
4、熟练使用UML进行软件架构设计，至少精通EA，RATIONAL， VISIO等一种设计工具.
5、精通至少一种编程语言，熟悉 Linux 相关技术，能独立在上面进行开发、测试和部署
6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术
大数据架构师的具体职责 篇2
职责：
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范，指导设计研发和部署;
4. 协助策略和算法团队工作，保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品，跟进业界先进技术;
任职要求：
1. 全日制本科及以上学历，5年以上软件和分布式系统研发经验，3年以上大数据系统架构经验;
2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;
3. 具备良好的系统分析能力、故障诊断能力;
4 有大数据策略、算法、可视化经验优先。
大数据架构师的具体职责 篇3
职责：
1、负责大数据基础平台的整体规划和架构设计，参与需求分析、技术决策以及详细设计;
2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组，解决系统中的关键问题和技术难题;
3、把握基础业务复杂系统的设计，确保系统的架构质量，编写核心部分代码;
4、持续挑战新的技术方向，攻克大数据量，高并发，稳定性等各种技术难点。
任职资格:
1、计算机或相关专业本科及以上学历;
2、5年以上hadoop的应用开发经验，5年以上数据仓库开发实践经验，至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;
3、良好的编程开发能力，精通PHP及其他开发语言;
4、熟悉mysql等数据库经验，具备优秀的SQL编写、调优能力;
5、熟练掌握Linux常规命令与工具，精通shell, perl, python等脚本语言至少一种;
6、软件基础理论知识扎实，具有良好的数据结构、算法功底;
7、对新技术敏感，学习能力强，乐于接受挑战，具有良好的团队合作精神;
大数据架构师的具体职责 篇4
职责：
1、负责企业大数据平台的基础建设、管理及制定拓展规划;
2、负责大数据平台相关自动化服务工具的设计、开发;
3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;
4、对平台特殊场景化的数据应用制定相关实践方案;
5、大数据团队的搭建。
任职资格:
1、统招本科以上学历，计算机等相关专业，5年以上工作经验;
2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;
3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;
5、熟悉高并发、分布式开发等相关知识，具有后端服务优化相关经验;
6、熟悉爬虫常用框架以及反爬技术;
7、具有良好的沟通能力、分析问题与攻关问题的能力;
8、有责任心，工作积极，对新领域新技术有热情。
大数据架构师的具体职责 篇5
职责：
负责大数据平台架构的规划和设计，主导系统的架构设计和核心模块开发，确保项目质量和关键性能指标达成;
负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发，保证大数据产品的上线运行;
负责深入理解业务需求，对业务建模，设计系统架构，满足业务需求;
负责协助策略和算法工作,保障数据挖掘建模和工程化;
负责根据业务需求整合优化数据架构，保证产品的可靠性、稳定性;
负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;
负责研发技术发展方向，新技术领域的探索，将新技术应用到公司大数据平台，提升公司效能
任职要求：
本科及以上学历，拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;
精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等，有大规模集群架构、开发及运维经验;
熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;
熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;
熟练掌握数据仓库设计，开发工作。能够根据业务设计并开发数据仓。
具备源码级问题解决和集群优化改造能力者优先;
能快速的学习新的开源框架和知识体系，并应用到现有架构体系中;
逻辑清晰，快速的学习能力，良好的沟通能力、团队协调能力。
具备良好的团队合作精神，较强的沟通交流能力，具备良好的技术领导能力;
具备良好的文档撰写能力和技术团队管理能力
大数据架构师的具体职责 篇6
职责：
1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向)，基于业务场景设计最优的系统解决方案。
2)构架支持大数量级的数据的大数据平台系统，及相关监控，拓展系统设计及实现。
3)利用Hadoop、Spark等大数据技术对海量数据进行处理，支持BI和数据科学(建模)的应用实现。
4)对现有系统的进行架构深入分析及系统优化，进一步提升系统的性能及数据处理能力。
任职资格
1)统招本科或以上学历，计算机相关专业， 5年以上软件开发经验、3年以上大数据项目经验。
2)具备较丰富的大数据平台相关构建，维护及调优经验，有大数据量级下的大数据集市相关经验。
3)具备较丰富的基于Hadoop或Hive或Spark等大数据处理项目经验，具备一定的数据挖掘经验。
4) 具有阿里云的EMR(emapreduce)的经验者优先考虑。
5)具有良好的业务理解、沟通和协作能力，具有较强的学习和总结能力。
6)优秀的团队合作精神、诚实、勤奋、严谨，敢于接受挑战。
7)机器学习技术、数据挖掘经验丰富者优先考虑。
大数据架构师的具体职责 篇7
职责:
1)负责公司软件产品整体架构的设计和关键功能实现
2)负责公司架构长期看护以及优化;
3)负责软件部门各模组间的协调配合;
4)提高巩固软件代码质量;
5)负责大数据流式框架的设计、优化及部署;
6)规划研发部门员工的技术发展路线并提供必要的帮助和指导
任职资格:
1)本科及以上学历，计算机相关专业，5年以上工作经验;
2)频繁换工作，比如一年一个公司，请绕路;
3)3年以上产品架构经验，主导过产品的成功上线;
4)对底层设备通讯协议，B/S系统，手机APP开发等都有一定的了解;
5)对各种主流语言C#\Java\Pathon有一定的了解
5)精通各种大数据架构，并深入研究过其中一种，有storm\kafka等流式实时处理经验为佳
6)能够承担较强的工作压力，有良好的自我驱动能力和责任感;
7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。
大数据架构师的具体职责 篇8
职责：
1.负责数据仓库建设，基于数据驱动构建企业级数据模型，根据架构设计进行各层数据模型开发。
2.面向PB级别超大规模数据处理和查询需求，设计适合业务变化的合理的多维数据分析系统架构，满足多样性需求。
3.构建设计良好的数据流、调度系统、查询引擎、监控系统，保证系统稳定高效运行，以实现数据的最大价值。
4.指导团队成员开展数据仓库建设。
5.参与重点项目的评审，参与企业数据管理体系建设。
任职要求：
1.统招本科及以上学历。
2.从事数据仓库领域至少5年以上，熟悉数据仓库模型设计与ETL开发经验 ，掌握Kimball的维度建模设计方法，具备海量数据加工处理(ETL)相关经验 。
3.具有一定数据模型和数据架构基础，熟悉hadoop\hive和常用数据库。
4. 精通SQL，有一定的SQL性能调优经验，熟悉hive sql的开发。
5.具有管理团队开发经验，具备良好的组织能力、协调能力及项目管理能力。
6.具有较好的文字功底及语言表达能力，能够快速、准确地理解需求。
7.具有专研、快速学习和创新精神，具备独立分析问题和解决问题的能力。
8.具有责任心，时间观念强，工作独立性强，有良好的团队合作精神。
9.全日制普通本科毕业。
大数据架构师的具体职责 篇9
职责:
1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;
2、负责掌握第三方接口的调用和功能实现，持续优化服务性能和容量，并保证产品的兼容性和执行效率;
3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护，确保项目进度和质量;
4、协助制定测试计划，及时发现并修复BUG，实现服务端的性能优化。
任职资格:
1、大学本科3年以上工作经验，计算机相关专业;
2、熟悉软件项目开发流程，具有良好编码风格及文档编写能力;
3、熟悉Linux服务器相关技术，能够独立完成服务器部署，具有相关经验;
4、熟悉Hadoop/Spark框架，JAVA基础扎实;
5、熟练使用Mysql数据库，了解MongoDB或neo4j等分布式数据库;
6、熟悉SpringCloud,SSM,Docker,redis开发者优先;
7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;
8、了解Socket网络编程、MQTT等，有相应实践经验者优先;
9、有智能语音语义、知识图谱服务端开发经验者优先。
大数据架构师的具体职责 篇10
1.负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策
2.参与数据挖掘和建模相关核心算法的代码实现
3.负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题；对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发
4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施
5.负责数据库设计、应用架构设计、核心技术选型等工作
6.协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行
7.培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题
大数据架构师的具体职责 篇11
职责:
1、 负责大数据仓库、数据集市的规划及实现，负责大数据中台的设计和核心开发工作;
2、 负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为公司的业务提供大数据底层平台的支持和保证;
3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;
4、 研究未来数据模型和计算框架的创新与落地，包括但不限于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线
任职资格:
1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;
2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、flink、spark等;
4、 性格积极乐观，诚信，能自我驱动，有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先，具有风控经验背景的人优先;
5、 具备独立的深度思考能力，给出结合实际情况的较为理想的技术解决方案。
大数据架构师的具体职责 篇12
职责：
1.负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划;
2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发，不断提升系统的稳定性和效率;
3.负责架构优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题;
4.建立良好的公司内外的业界技术影响力;有效辅导团队，提升数据研发能力;
任职要求：
1.从事大数据项目相关开发和设计2年以上经验;有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
2.拥有一定的算法和数据结构基础;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径;
3.熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、storm、spark、等;
4. 良好的逻辑思维能力，良好的业务解读能力，懂电力或通信业务优先;
5.具有钻研精神，乐于接受挑战;
大数据架构师的具体职责 篇13
职责：
1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发;
2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;
3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行;
4、负责大数据平台的架构优化，代码评审，并根据业务需求持续优化数据架构，保证产品的可靠性、稳定性;
5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现，分享技术经验;
6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患意识;
7、深入研究大数据相关技术和产品，跟进业界先进技术;
【任职要求】
1、统计学、应用数学或计算机相关专业大学本科以上学历;
2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点)，无埋点方案等，有埋点SDK独立开发经验者优选;
3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等，具备实际项目设计及开发经验;
4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程
5、熟悉Liunx/Unix操作系统，能熟练使用shell/perl等脚本语言，熟练掌握java/python/go/C++中一种或多种编程语言
6、具备一定的算法能力，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用经验者优先
7、熟悉大数据可视化工具Tableau/echarts
8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;
大数据架构师的具体职责 篇14
职责：
1. 负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。
2.负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。
3. 结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。
4. 对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。
任职要求：
1. 熟悉云计算基础平台，包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境，熟悉控制、计算、存储和网络;
2. 掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。
3. 精通 Java，Python，Shell 编程语言，精通 SQL、NoSQL 等数据库增删改查的操作优化;
4. PB 级别实战数据平台和生产环境的实施、开发和管理经验;
5. 熟悉 Docker 等容器的编排封装，熟悉微服务的开发和日常调度;
6.计算机、软件、电子信息及通信等相关专业本科以上学历，5 年以上软件工程开发经验，2 年以上大数据架构师工作经验。
大数据架构师的具体职责 篇15
1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向)，基于业务场景设计最优的系统解决方案。
2)构架支持大数量级的数据的大数据平台系统，及相关监控，拓展系统设计及实现。
3)利用Hadoop、Spark等大数据技术对海量数据进行处理，支持BI和数据科学(建模)的应用实现。
4)对现有系统的进行架构深入分析及系统优化，进一步提升系统的性能及数据处理能力。
大数据架构师的具体职责 篇16
1)负责公司软件产品整体架构的设计和关键功能实现
2)负责公司架构长期看护以及优化；
3)负责软件部门各模组间的协调配合；
4)提高巩固软件代码质量；
5)负责大数据流式框架的设计、优化及部署；
6)规划研发部门员工的技术发展路线并提供必要的帮助和指导
大数据架构师的具体职责 篇17
职责：
1、负责规划科技大数据平台及科技数据入库自动化的方案设计;
2、负责大数据平台的开发和维护，以及对外服务接口的开发;
3、负责大数据平台的优化和改进工作。
任职要求
1、计算机相关专业本科及以上学历，5年以上开发经验，其中3年以上为互联网、大数据相关的开发经验;
2、熟知Hadoop生态圈体系，精通Hadoop/Spark/Storm/Kafka中的一项或几项，深刻理解MapReduce的运行原理和机制，有MPI经验者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作，尤其是数据库集群的构建和操作，熟悉Neo4j者尚佳;
4、具有机器学习相关项目经验者优先。