大数据运维工程师的工作职责

大数据运维工程师的工作职责 篇1

　　1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的稳定可用;

　　2.负责集群容量规划、扩容及性能优化;

　　3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

　　4.设计实现大规模分布式集群的运维、监控和管理平台;

　　5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

　　6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

　　7.参与例如服务器维护、项目维护、监控维护等常见运维事务

大数据运维工程师的工作职责 篇2

　　职责：

　　1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;

　　2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;

　　3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;

　　4、设计实现大规模分布式集群的运维、监控和管理平台;

　　5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

　　6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

　　岗位要求：

　　1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

　　2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;

　　3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

　　4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

　　5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;

　　6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;

大数据运维工程师的工作职责 篇3

　　职责：

　　1、负责大数据平台架构的规划、设计、搭建;

　　2、负责大数据平台的运维保障工作;

　　3、负责运维相关数据分析，以及报表产出;

　　4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

　　5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;

　　6、研究跟进大数据架构领域新技术并分享。

　　工作要求：

　　1、熟悉大数据产品生态圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

　　2、精通Linux/Unix系统;

　　3、有数据分析经验优先，精通一门以上脚本语言(shell/perl/python等)，熟悉java/C/C++/Golang等开发语言一种及以上;

　　4、有2年以上大数据平台相关运维开发经验，了解分布式平台运行的原理，并有实际部署维护经验;

　　5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;

　　6、良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强。

大数据运维工程师的工作职责 篇4

　　职责：

　　1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

　　2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

　　3、负责和参与自动化运维系统及平台的建设;

　　4、负责优化部门运维流程提升运维效率。

　　任职要求：

　　1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;

　　2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

　　3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;

　　4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;

　　5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

　　6、具备较好的沟通能力、主动性和团队合作精神。

大数据运维工程师的工作职责 篇5

　　职责：

　　1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等开源组件;

　　2. 完成大数据自研平台工具运营，比如报表平台、调度平台和性能监控平台;

　　3. 提升系统可靠性，完善监控策略，优化运维流程，提升部门运维效率，保证7*24服务;

　　4. 参与开源社区建设，提升公司开源影响力;

　　任职条件：

　　1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等开源组件的搭建、维护以及问题定位;

　　2. 熟悉Linux操作系统，熟练掌握Linux常用命令,了解ansible/puppet;

　　3. 熟练掌握shell/python/java;

　　4. 熟悉hive/spark sql工作原理，熟悉SQL语法，掌握数据库的维护工作;

　　5. 对自动化运维有一定见解，使用过各种开源工具完成日常运维工作;

　　6. 有大数据平台维护经验优先;

　　7. 掌握dockerfile，了解大数据与k8s结合者优先;

　　8. 参与开源社区，有代码贡献或者高质量博客文章者优先;

大数据运维工程师的工作职责 篇6

　　职责：

　　1、 负责应用系统的日常维护，解决常见应用问题;

　　2、 负责应用系统上线工作，包括环境的搭建、应用的部署和数据库用户的初始化;

　　3、 通过部署脚本对生产环境程序和日志进行备份，并传输到备份服务器保存;

　　4、 负责测试平台与生产平台一致性部署和维护等工作;

　　5、 事件处理、变更流程。

　　任职要求：

　　1，本科以上学历;

　　2，3年以上MySQL数据库管理相关经验，有银行从业经验的优先;

　　3，精通MySQL数据库的运行维护，熟悉mycat分布式中间件管理;

　　4，具备很强的故障排查能力，有很好的技术敏感度和风险识别能力。

大数据运维工程师的工作职责 篇7

　　1.负责协助MES、SCADA项目供应商的实施,包括需求调研、蓝图设计、详细设计、系统配置与测试、项目上线;

　　2.负责MES、SCADA系统上线后的运维和管理,业务优化及二次开发;

　　3.用户需求收集及分析、培训及功能测试

大数据运维工程师的工作职责 篇8

　　职责：

　　1、负责公司网络规划、网络安全、网络权限管理、网络硬件维护及升级等

　　2、负责公司服务器硬件及操作系统运维，包括但不仅限于设备上架、硬件升级、系统安装、补丁更新、病毒防护、数据备份、虚拟化、数据灾备等

　　3、负责公司信息数据安全，包括但不仅限于相关制度拟定和更新、文件服务器权限管理、打印管理、数据备份等

　　4、负责公司用户端桌面支持工作

　　任职要求：

　　1、计算机相关专业，2年及以上中型企业IT工作经验

　　2、熟悉广域网和局域网的搭建、优化和维护，熟悉主流品牌网络设备配置和管理，能快速定位和解决网络故障

　　3、熟悉服务器虚拟化、服务器的安装配置和维护，能熟练搭建和管理共享文件、域控、DHCP、DNS、打印服务器等

　　4、熟悉用户桌面端电脑软硬件、打印机维护、升级

　　5、能够主动交流，具有较强的表达、沟通、执行能力，具有团队合作精神。

　　6、熟悉linux服务器运维优先

大数据运维工程师的工作职责 篇9

　　职责：

　　1、应对客户稽核，对客户提出的问题点进行改善;

　　2、负责公司网络维护，并负责定期进行病毒监测及存储备份;

　　3、负责维护公司所有计算机软硬件设备，及时解除故障，保证计算机正常运行;

　　4、制定及执行网络管理制度，规范网络工具的使用，保证公司资料的安全性。

　　5、弱电工程、安防方案设计、安装跟进;

　　6、CCNA认证优先

　　任职要求：

　　1、全日制大专以上学历，计算机相关专业;

　　2、有良好的沟通表达能力; 3、对信息安全有一定的认知,并熟悉IPguard等一些安全管控软件;

　　4、2年以上HelpDesk相关的工作经验，精通windows系统，能排除电脑常见硬件及系统问题;

　　5、熟悉大中型网络、企业网络和宽带网络的设计与规划。

　　6、熟悉大中型企业常用服务器。

　　7、 熟悉主流监控、门禁安装。

　　8、抗压能力强，适应加班

大数据运维工程师的工作职责 篇10

　　职责：

　　1、负责公司业务项目网络支撑工作(搭建内部网络，硬件管理，外部账号);

　　2、负责公司云服务器的管理工作;

　　3、负责业务系统的应用运维工作，包括安装、配置、升级、监控、异常处理等;

　　4、负责业务系统的日常巡检，并进行应用运维自动化的研究和探索。

　　任职资格：

　　1、大专以上学历，计算机/软件工程等相关专业;

　　2、4年以上互联网运维经验，有知名互联网公司运维经验者优先;

　　3、精通docker、jenkins，J2EE架构，Java基础扎实，理解IO、多线程、集合等基础框架;

　　4、有自动化运维、持续交付等项目的建设及管理经验优先;

　　5、有高并发、高负载产品成功经验者优先。

大数据运维工程师的工作职责 篇11

　　职责：

　　1、负责公司服务器、办公电脑、核心路由器、交换机、防火墙的运维、调优、监控、故障排查和日常问题的处理;

　　2、负责公司网络相关的项目建设和实施等工作，以及后期项目维护等工作;

　　3、监控各环境的服务器及所有服务，做好基础监控;服务器、网络设备的管理，以及平台的监控和维护。

　　任职要求：

　　1、大专及以上学历，具有2年以上网络系统运行维护经验，精通以太网路由与交换，熟练掌握网络设备的安装、调试及网络运行环境的配置;熟悉网络安全设备的使用;

　　2、熟悉主流各型号路由器、交换机的选型、配置与部署，CCNP以上或同等水平;

　　3、熟悉Linux服务器的管理和维护;

　　4、具备信息安全经验的优先考虑;

　　5、吃苦耐劳、责任心强、具备良好的服务意识及抗压能力;

　　6、有通信、IT行业从业经验者优先考虑。

大数据运维工程师的工作职责 篇12

　　1、维护现场软硬件故障

　　2、维护机房的巡检及管理工作

　　3、提供呼叫中心现场桌面技术服务支持

　　4、负责桌面电脑、IP话机的.日常维护、管理工作

　　5、负责办公设备的日常管理和维护工作

　　6、协助其他同事解决IT类问题

大数据运维工程师的工作职责 篇13

　　职责：

　　1、办公设备的安装、调试及维护，熟悉各种桌面以及移动端操作系统;

　　2、负责公司公用账户申请、备案及管理;

　　3、负责OA、移动办公APP的日常维护及管理工作，包括系统数据备份、运行状况监测、组织架构调整、用户账号管理、用户权限管理、流程配置、运行过程问题的解决等;

　　4、负责OA、移动办公APP的功能规划、需求收集、方案编写等工作;

　　5、负责集团其它信息化系统的建设管理工作。

　　6.、用户协调和沟通，完成交办的其他工作。

　　任职要求：

　　1、计算机相关专业本科及以上学历，5年以上相似岗位工作经验;

　　2、了解OA或者ERP管理思想，有3年以上OA实施或开发工作经验者优先;

　　3、具备计算机相关理论基础知识，熟悉资产、文档、项目管理流程者优先;

　　4、能熟练使用Word、Excel、PowerPoint、Visio、Project等OFFICE工具软件;

　　5、工作认真、仔细，具备良好的自我学习能力;

　　6、良好的团队合作精神，具备高度的计划性和条理性，出色的组织、沟通能力;