大數據運維工程師的工作職責
大數據運維工程師的工作職責
大數據需要負責公司產品的技術支持、安裝調試、客戶使用培訓及相關硬件的安裝調試。下面是學習啦小編為您精心整理的大數據運維工程師的工作職責。
大數據運維工程師的工作職責1
職責：
1、負責和參與公司大數據基礎架構平臺規劃，運維，監控和優化工作，保障數據平臺服務的穩定性和可用性;
2、研究大數據前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;
3、負責和參與自動化運維系統及平臺的建設;
4、負責優化部門運維流程提升運維效率。
任職要求：
1、統招本科及以上學歷，計算機相關專業，2年以上互聯網運維工作經驗;
2、熟悉Linux操作系統及常見開源軟件(Nginx,Tomcat,Zabbix等)的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題;
3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;
4、精通Python,shell,了解JAVA;有良好的系統性能優化及故障排除能力;
5、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;
6、具備較好的溝通能力、主動性和團隊合作精神。
大數據運維工程師的工作職責2
職責：
1、負責Hadoop、HBase、Hive、Spark等大數據平臺 規劃、部署、監控、系統優化等，確保高可用;
2、負責公司大數據平臺的運維管理工作，集群容量規劃、擴容及性能優化;
3、處理公司大數據平臺各類異常和故障，確保系統平臺的穩定運行;
4、設計實現大規模分布式集群的運維、監控和管理平臺;
5、深入研究大數據業務相關運維技術，持續優化集群服務架構，探索新的大數據運維技及發展方向;
6、為數據倉庫、數據挖掘建模等數據應用項目提供運行環境支持。
崗位要求：
1、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題;
2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發經驗優先;
3、熟悉 Hadoop生態及高性能緩存相關的各種工具并有實戰經驗，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;
4、具有集群運維經驗，以及大負載下的容量評估、問題定位、架構優化等能力優先;有分布式系統(計算/存儲)開發經驗優先;
5、熟悉zabbix/ganglia/Prometheus/grafana系統的組合構件及使用;
6、精通ELK系統，有過大規模ELK配置管理、調優經驗，有過ElasticSearch搜索和分析引擎開發經驗者優先;
大數據運維工程師的工作職責3
職責：
1、負責大數據平臺架構的規劃、設計、搭建;
2、負責大數據平臺的運維保障工作;
3、負責運維相關數據分析，以及報表產出;
4、為線上服務高效穩定運行負責，支撐業務和數據量的快速擴張;
5、深入理解大數據平臺架構，發現并解決重大故障及性能瓶頸;
6、研究跟進大數據架構領域新技術并分享。
工作要求：
1、熟悉大數據產品生態圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;
2、精通Linux/Unix系統;
3、有數據分析經驗優先，精通一門以上腳本語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發語言一種及以上;
4、有2年以上大數據平臺相關運維開發經驗，了解分布式平臺運行的原理，并有實際部署維護經驗;
5、學習能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰;
6、良好的服務意識，善于團隊協作，項目管理，主動思考，自我驅動力強。
大數據運維工程師的工作職責4
1.負責公司大數據業務集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環境的穩定可用;
2.負責集群容量規劃、擴容及性能優化;
3.負責大數據集群性能監控與優化，故障處理，數據備份及容災恢復，集群出現異常時，能快速定位問題，并及時給出解決方案;
4.設計實現大規模分布式集群的運維、監控和管理平臺;
5.參與/主導業務架構設計，在設計階段給出可運維性改進建議;
6.深入研究大數據業務相關運維技術，持續優化集群服務架構，探索新的大數據運維技術及發展方向;
7.參與例如服務器維護、項目維護、監控維護等常見運維事務
大數據運維工程師的工作職責5
職責：
1. 完成大數據平臺日常運維工作(上線/日常監控/問題定位/腳本開發)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;
2. 完成大數據自研平臺工具運營，比如報表平臺、調度平臺和性能監控平臺;
3. 提升系統可靠性，完善監控策略，優化運維流程，提升部門運維效率，保證7*24服務;
4. 參與開源社區建設，提升公司開源影響力;
任職條件：
1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;
2. 熟悉Linux操作系統，熟練掌握Linux常用命令,了解ansible/puppet;
3. 熟練掌握shell/python/java;
4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握數據庫的維護工作;
5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;
6. 有大數據平臺維護經驗優先;
7. 掌握dockerfile，了解大數據與k8s結合者優先;
8. 參與開源社區，有代碼貢獻或者高質量博客文章者優先;
相關文章：