大數據開發工程師的崗位職責
大數據開發工程師的崗位職責
大數據開發工程師負責該領域的業務需求討論，完成技術方案及數據開發。下面是學習啦小編整理的大數據開發工程師的崗位職責。
大數據開發工程師的崗位職責1
職責:
1、負責所分管團隊的團隊建設和日常管理工作;
2、負責核心技術問題攻關和性能優化，持續維護和引進最新的大數據技術到城市大數據平臺中，支撐城市級大數據平臺業務;
3、承擔城市數據標準編制和數據模型的設計;
4、承擔項目中數據相關方案設計及數據團隊管理;
5、參與城市大數據項目中數據采集、加工過程、分析挖掘模型算法的實施工作。
任職資格:
1、1年以上數據開發工作經驗，熟練使用SQL查詢引擎;
2、熟悉Hadoop、Mpp、Oracle等至少一種數據倉庫工具
3、具備良好的編程語言基礎如：java/python/scala/c++/shell等
4、二本以上學歷，計算機相關專業或者有相關培訓經歷者優先
5、 個人素質要求：目光長遠、態度誠懇、崗位有穩定性，能夠長期培養、具備很強的自學能力、承壓能力強、接受出差支援項目等工作。對數據工作具備濃厚的興趣并有明確職業規劃，優秀的學習能力和團隊溝通協作能力，對新技術有濃厚興趣并有鉆研精神。
大數據開發工程師的崗位職責2
職責：
1、依據客戶需求完成大數據項目的數據分析及建模;
2、進行大數據核心算法的編寫;
3、參與項目的需求分析、系統設計、編碼工作;
4、參與開發過程中相關新技術的研究和驗證。
5.協助承擔架構性的體系設計和改造工作，配合制定技術實施方案，按照總體設計組織子系統的設計和開發。
任職要求：
1、精通數據建模、數據體系建設，具備數據倉庫架構設計、模型設計和處理性能調優等相關經驗;
2、具有豐富的基于hadoop體系的數據平臺、數據倉庫建設經驗，精通基于hadoop源碼的開發、優化改造及成功應用案例;
3、精通hadoop生態體系各項技術，如kafka、flume、hive、impala、hbase、spark等，具有100+節點hadoop集群的開發、運維經驗;
4、具有對大型hadoop集群的硬件規劃能力;
大數據開發工程師的崗位職責3
職責
1、負責基于hadoop/spark生態系統、億級別數據的全文檢索，搜索引擎的產品研發;
2、基于海量用戶行為數據和其他數據，分析和研究數據與實際業務的關聯關系，并與實際業務應用相結合開發;
3、負責大數據分析需求設計和開發，承擔數據抽取、清洗、轉化等數據處理程序開發。
任職要求：
1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術及其生態圈，具備相關項目開發經驗，有數據實時計算項目經驗優先;
2、有搜索引擎全文檢索開發經驗 ，如：elasticsearch、solr;
3、熟悉python、R任意一門開發語言;
4、有SAAS，PAAS企業級應用平臺或者互聯網，金融等大型應用平臺開發經驗優先考慮;
5、 本科及以上學歷，計算機/軟件工程/統計學/數學等相關專業，互聯網/金融等行業3年以上工作經驗;
6、擁有良好的代碼習慣，要求結構清晰、命名規范、邏輯性強、代碼冗余率低，代碼注釋清晰;
7、熟悉使用svn，禪道等項目管理工具，有良好的團隊協作開發經驗.
大數據開發工程師的崗位職責4
職責：
1、從事Hadoop、Spark、Hbase、hive等分布式大數據產品的設計和開發;
2、針對部門大數據業務進行大數據分析、挖掘等產品應用的開發;
3、大數據平臺各類數據業務抽象及模型化;
4、參與大數據管理平臺的開發及維護;
5、負責大數據平臺數據及相關的應用開發，調優及維護;
6、為項目相關開發人員提供大數據技術指導及解決大數據平臺應用中遇到的技術難題;
7、良好的團隊合作與溝通能力。
任職要求：
1、本科及以上學歷，2年以上大數據應用開發經驗;
2、具備Java、Python、Scala其中兩種語言的開發經驗;
3、了解泛Hadoop大數據生態圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術，并有實際的項目開發經驗，有相關源碼研究者優先;
4、具備ETL開發與運維能力，有Flume、kettle經驗優先;
5、熟悉大數據平臺的搭建過程，熟悉數據處理流程，有TB級以上數據處理經驗優先，有實時數據處理經驗者優先;
6、熟悉離線和實時數據處理流程，熟練使用Spark，Flink處理TB級數據優先;
7、熟悉Linux系統環境，有shell等腳本編寫經驗，熟悉Mysql、PostgreSql、Oracle等常用關系數據庫，熟練編寫SQL語句;
8、熟悉Yarn,Kubernetes,Azkaban等資源調度框架者優先;
9、熟悉Datax的二次開發，并有實際開發經驗優先。
大數據開發工程師的崗位職責5
職責：
1、負責數據分析、加工、清理，相關處理腳本和程序的開發;
2、負責開發大數據工具，如報表平臺、多維度分析工具、ETL平臺、調度平臺的研發;
3、負責分布式大數據平臺應用開發(Hadoop/Spark/Hive/HBase等);
4、負責大數據相關平臺的維護、優化。
任職要求：
1、本科及以上學歷，計算機相關專業，具有5年及以上的大數據ETL或數據開發經驗，熟悉大數據組件的維護以及調優;
2、熟練掌握Java或Python編程語言，熟悉大數據架構體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術中的一個或者多個，熟悉Sqoop、DataX等數據導入工具;
3、能熟練使用Hive、HBase、Spark等加工和處理數據，有海量數據處理經驗;
4、有數據倉庫開發經驗/BI系統開發經驗優先;
5、有電商行業數據處理與分析平臺開發經驗者優先。
相關文章：