大數據運維工程師工作的崗位職責
大數據運維工程師工作的崗位職責
大數據運維工程師需要明確工作范圍,定期與客戶溝通工作量,并獲取客戶回執,及時歸檔。以下是學習啦小編整理的大數據運維工程師工作的崗位職責。
大數據運維工程師工作的崗位職責1
職責:
1、負責公司大數據集群的構建,任務調度、監控預警,持續完善大數據平臺,保證穩定性、安全性;
2、負責集群容量規劃、擴容、集群性能優化及日常巡檢和應急值守,參與大數據基礎環境的架構設計與改進;
3、深入研究大數據業務相關自動化運維技術,持續優化集群服務架構,探索新的大數據運維技術及發展方向;
任職要求:
1、熟悉Linux系統及基礎命令操作,能夠獨立編寫Shell或Python腳本,開展日常服務器的運維工作;
2、熟悉并不限于大數據生態圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs
等相關基礎組件的框架知識和運行原理;
3、熟悉軟硬件設備,網絡原理,有豐富的大數據平臺(CDH、HDP)部署、集群運維和性能優化等經驗;
4、具備一定的系統自動化運維理論體系和實際經驗,能夠利用各種開源監控工具、運維工具,HA、負載均衡軟件完成工作任務;
5、具備較強的學習能力、抗壓能力、動手能力和分析解決問題的能力;
6、熟悉JVM虛擬機調優;
7、熟悉jenkins持續集成;
8、有一定的文檔編寫能力;
9、能適應短期出差,有公安視頻圖像偵查業務方向經驗者優先;
大數據運維工程師工作的崗位職責2
職責:
1.負責公司大數據平臺的運維保障;
2.負責大數據平臺的架構審核、業務監控、持續交付、應急響應、容量規劃等;
3.為線上服務高效穩定運行負責,支撐業務和數據量的快速擴張;
4.負責生產及測試集群諸如故障定位恢復、系統安全、性能優化等;
任職要求:
1.計算機相關專業本科及以上學歷,3年以上相關工作經驗
2.精通Hadoop大數據生態圈,熟悉Hadoop各組件的原理,并有實際部署維護經驗;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;
3.具備很強故障排查能力,有很好的技術敏感度和風險識別能力,良好的服務意識,善于團隊協作,項目管理,主動思考,自我驅動力強;
4.有相關動態編排容器技術和虛擬化技術工作經驗者優先;
5.深入理解Hadoop各組件的原理和實現,有閱讀源碼能力者優先;
6.具備很強的ownership,故障排查能力,有很好的技術敏感度和風險識別能力。
大數據運維工程師工作的崗位職責3
1、負責建設大數據平臺的規劃、架構設計和技術選型;
2、開發和使用Hadoop大數據自動化運維與監控工具;
3、基于大數據應用需求,負責優化平臺的性能,消除性能瓶頸,解決業務的疑難問題;
4、熟悉Hadoop、Hive、Hbase、Storm、Spark等技術框架; 熟悉java、scala、sqllite等相關技術;具備軟件設計、編碼開發測試、文檔編寫的能力;
5、積極了解業界發展、互聯網相關新技術及趨勢,參與規劃公司大數據產品未來技術架構方向;
6、負責大數據平臺內部所涉及到的各類數據庫、數據存儲的搭建、備份、日常維護、性能調優;以及大數據平臺系統運維、監控和故障分析與處理;
7、能夠很好的和其它團隊的同事溝通協作;
8、負責文檔的書寫和完善,保證文檔的及時更新;
9、有大型開源系統維護經驗優先。
大數據運維工程師工作的崗位職責4
職責
1、負責企業大數據平臺的運行監控維護,及時發現并解決平臺故障和數據處理異常;
2、負責大數據平臺的數據運營,開展數據采集和數據清洗稽核,保障數據質量,支撐應用開展需要,為數據應用開發團隊提供支撐;
3、負責完善數據平臺的運維監控和數據質量保障手段,負責相應運維腳本、數據分析腳本的開發和部署;
4、對數據平臺運營情況進行分析和總結,并提出優化建議。
應聘資格要求
1.2019屆全日制統招應屆碩士及以上(特別優秀的可放寬至本科)(不含專升本、二級學院)。
2.英語水平:達到國家四級或四級考試425分以上。
3.身體健康,舉止大方,具備良好的素質修養。
4、較強的執行能力、組織協調能力、學習分析能力、溝通協調能力及良好的文字表達能力。
5具有較高的企業忠誠度和良好的道德修養,愛崗敬業,有事業心、責任心、團隊合作精神。
大數據運維工程師工作的崗位職責5
職責:
1、負責大數據環境的現場運維和實施。
2、負責大數據環境的故障分析、問題排除;
3、負責大數據環境(hadoop生態)集群環境安裝、維護、部署、優化。
任職要求:
1、精通Hadoop生態圈各個組件原理。
2、具備Hadoop/Kafka/Zookeeper/Spark/Storm/Flume/Hive等集群運維經驗者優先。
3、熟悉mysql、Oracle等主流數據庫
4、熟悉linux操作系統、shell腳本
5、掌握Python/Shell/Java中至少1種開發語言;
相關文章: