數據開發崗位職責
在不斷進步的社會中,越來越多地方需要用到崗位職責,制定崗位職責可以有效規范操作行為。那么制定崗位職責真的很難嗎?下面是小編整理的數據開發崗位職責,歡迎閱讀與收藏。
數據開發崗位職責1
職責描述:
1、承擔現有數據平臺的.開發和優化工作
2、根據業務需求進行數據模型的調研、設計、開發及驗證工作,并持續進行模型優化
3、負責數據模型架構的構建,建立數據抽取、清洗、校驗等數據加工流程規范及olap多維數據分析模型
4、負責實時計算平臺搭建。
職位要求:
1、3—5年以上的相關工作經驗
2、熟悉分布式計算平臺
3、有日志采集,數據處理,數據倉庫建模,etl等經驗
4、熟悉java、python、spark開發
5、熟練掌握linux shell及sql語言
6、有獨立負責數據某一模塊的實際項目經驗
7、有過用戶畫像等方面開發經驗者優先
8、有實時處理開發經驗者優先
數據開發崗位職責2
崗位職責:
1、負責集團基礎數據平臺架構并實施建設開發;
2、負責構建設計良好的信息源數據采集、傳輸、存儲、計算、分析和挖掘技術實施方案;
3、實現優化調度系統、查詢引擎、數據工具等降低數據的'使用門檻,保證平臺穩定高效運行;
3、負責應對處理每天千億增量的玩家行為數據;
4、負責對接并支持業務系統的數據分析工作,支持對內對外部數據進行梳理、整合及共享;
任職要求:
1、計算機或數學相關專業,3年以上數據從業經驗;
2、深入hadoop大數據生態體系,對包括flume、kafka、hbase、hive、spark等有深刻理解,了解過flink、impala、kylin等;
3、精通kafka/redis/rabbitmq等其中至少一種消息隊列技術,擅長mysql存儲原理及索引優化;
4、有過支撐每日億級別數據處理經驗,在離線數據處理、在線檢索方面有豐富的經驗,了解集群管理、資源調度等綜合實現;
5、熟練使用scala/java/python開發,具有較強的數據敏感性,熟悉web開發技術,有游戲相關數據處理與分析平臺開發經驗者優先。
數據開發崗位職責3
工作職責:
1、根據公司數據分析需求進行基于hadoop平臺的項目開發;
2、根據需求進行數據倉庫模型設計,熟練使用kettle工具進行etl程序的開發;包括實時數據加工,計算,etl,管理,監控等;
3、負責針對源系統進行數據抽取、處理、分析等相關工作,及項目中涉及到的數據庫創建、維護及提供數據接口工作;
4、負責設計并優化基于hive的數據倉庫的建設;
5、制定數據庫備份和恢復策略及工作流程與規范。
6、能出具消費品品牌制造行業應用的數據分析技術解決方案,并落地。
任職資格:
1、從事數據倉庫領域至少2年以上,熟悉數據倉庫模型設計與etl開發經驗,具備海量數據加工處理相關經驗;
2、熟悉數據倉庫領域知識和技能者優先,包括但不局限于:元數據管理、數據開發測試工具與方法、數據質量、主數據管理;
3、有從事分布式數據存儲與計算平臺應用開發經驗,熟悉hadoop生態相關技術并有相關實踐經驗著優先,重點考察hive、hdfs、hbase;
4、熟練掌握kettlesqoop、datax、airflow等;
5、有消費品品牌制造、零售行業經驗,尤其快消品行業和財務領域數據項目經驗者優先;
6、熟悉分布式計算presto/imapa優先;
7、有實時計算方面的`經驗的優先。
數據開發崗位職責4
職責描述:
1、精通java開發、熟悉restful和maven,精通主流java web開發框架spring、spring boot、spring data jpa、logback、mybatis;
2、熟悉對常用關系型數據庫和hdfs、hive,kafka、storm等讀寫操作,性能優化;
3、具備系統架構設計能力,具備較強的'java程序調優能力及數據庫設計和sql調優能力,具備良好的溝通能力;
4、熟悉多線程編程、熟悉junit單元測試;
【數據開發崗位職責】相關文章:
數據庫開發崗位職責09-30
大數據開發工程師的崗位職責12-16
數據庫開發工程師的崗位職責(精選18篇)10-09
大數據開發工程師的基本職責-崗位職責01-22
數據庫開發專員簡歷04-06
Oracle數據庫開發技巧08-19
數據庫開發簡歷范文09-30
數據平臺崗位職責07-25
數據治理崗位職責11-02