數據倉庫工程師崗位的基本職責
數據倉庫工程師崗位的基本職責
數據倉庫工程師負責數據平臺相關的管理工作,如數據研發規范、數據質量及穩定性保證等建設。下面是學習啦小編為您精心整理的數據倉庫工程師崗位的基本職責。
數據倉庫工程師崗位的基本職責1
職責:
1、負責金融行業數據倉庫開發工作
2、負責與多個應用對接的接口和框架設計
3、充分理解產品需求,能夠結合需求進行任務設計,完成詳細設計文檔的編寫。
崗位要求:
1. 從事數據倉庫及商業智能(BI)領域工作至少3年以上,熟悉數據倉庫模型設計方法論,并有實際的模型設計經驗,有大型數倉建設經驗優先;
2. 精通數據倉庫領域知識和管理技能,包括但不局限于:元數據管理、數據質量、主數據管理、性能調優等;
3.有主流商業/開源ETL工具(Informatica、Datastage、Kettle等)使用經驗者優先;
4. 熟悉Hadoop生態相關技術并有相關實踐經驗,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具備海量數據加工處理(ETL)相關經驗;
5. 熟練使用java語言,對微服務架構有一定了解;
6. 具有較強的團隊意識與良好的溝通能力及高度的工作責任感,熱愛技術,有很強的鉆研能力,樂于接受有挑戰性的任務;
7、有團隊管理經驗優先。
數據倉庫工程師崗位的基本職責2
職責:
1、負責大數據開發工作;
2、負責公司數據服務接口平臺的建設;
3、參與打造數據中臺內容的規劃、設計、開發工作,實現高質量數據的互通與共享; 4、參與數據模型體系構建及數據主題設計和開發,搭建離線、近線、實時數據公共層;
5、參與構建非結構化數據體系,進行網絡數據爬取,數據清洗,特征挖掘,統計分析,并結合應用場景實現落地。
崗位要求:
1、本科以上學歷,計算機、數學、統計學等相關專業;
2、熟悉數據集成、數據倉庫、數據分析等全流程數據處理,具備開源或阿里大數據平臺實戰經驗,如hive/spark/Maxcompute;
3、熟悉數據治理體系,包括數據模型、數據標準、數據質量等;
4、熟悉常見的離線、實時、流式數據應用場景及架構;
5、至少掌握一門開發語言,Java/Python;
6、具備良好的溝通能力和設計文檔編寫能力;
7、懂數據挖掘、知識圖譜的構建者優先。
數據倉庫工程師崗位的基本職責3
職責:
負責大數據數據倉庫的建設,根據數據倉庫及BI項目的需求,制定相關的設計方案和開發計劃;
參與數據的分析處理和數據統計內容的架構設計與研發;
組織項目組成員完成數據倉庫的開發和運維等;
負責公司數據規范、數據標準、數據指標梳理與定義;
協助技術人員完成數據管控平臺的搭建,完成數據規范管理體系到信息平臺的落地實施;
組織開展對數據平臺各模塊的內容進行培訓;
制定和審計業務系統數據數據庫模型設計規范;
任職資格:
有一定的互聯網數據倉庫經驗;
深入了解 Hadoop 生態系統,熟悉HBase、Hive、Storm、spark等大數據開發工具中一種或幾種;
具備大型數據倉庫架構設計、模型設計、ETL 設計的相關經驗;
關系型數據庫原理基礎扎實,熟悉 MySQL/PostgreSQL等的使用和調優;
有獨立設計數據倉庫經驗、熟悉數據倉庫相關理論知識者優先;
數據倉庫工程師崗位的基本職責4
職責:
1、深入理解業務,了解需求和痛點,為風控和業務部門提供數據支持;
2、針對業務需求,參與數據倉庫需求分析,制定ETL相關設計方案和開發計劃;
3、負責數據同步,數據整合清洗,以及數據質量的治理;
4、數據倉庫模型設計,分層體系構建,元數據管理監控以及權限控制。
任職資格:
1、重點院校統招本科及以上學歷,計算機基礎扎實;
2、具有2年以上金融貸款類業務經驗;
3、熟悉數據倉庫理論和數據庫建模,有redshift和AWS經驗優先;
4、精通pgsql/mysql等數據庫,精通sql語言,具有數據庫優化/sql優化相關經驗;
5、熟練掌握python/shell語言。
數據倉庫工程師崗位的基本職責5
職責:
1.參與打造數據中心內容的規劃、設計、開發和優化工作,實現高質量數據的互通與共享;
2.參與數據模型體系構建及數據主題設計和開發,搭建離線、實時數據倉庫;
3.參與數據產品與應用的數據研發;
4.負責日常應用系統監控,發現異常問題及時分發,并跟進后續處理;
5.編寫Python程序,或ETL技術完成日常數據抽取和整理任務,可獨立進行數據分析;
崗位要求:
1.熟悉ETL開發、數據倉庫設計流程,熟悉Oracle, MS SQL Server 等主流數據庫,表結構設計,存儲過程編寫;
2.熟練掌握常用Linux命令,具備shell編程能力,熟練掌握Python編程語言
3.具有較強的語言表達和溝通能力,良好的團隊合作精神
4.邏輯思維能力強,對數據敏感,有較強學習能力和創新思維;
5.具有高度的責任感和敬業精神,能夠承受較大的工作壓力