大數(shù)據(jù)ETL工程師是做什么的，發(fā)展前景如何？ETL工程師是大數(shù)據(jù)倉庫方向的一個職位，主要從事數(shù)據(jù)清洗、提取和轉換。目前，Hadoop的HDFS主要用作存儲平臺，hive用作數(shù)據(jù)建模、清洗和結構化數(shù)據(jù)分

大數(shù)據(jù)ETL工程師是做什么的，發(fā)展前景如何？

ETL工程師是大數(shù)據(jù)倉庫方向的一個職位，主要從事數(shù)據(jù)清洗、提取和轉換。目前，Hadoop的HDFS主要用作存儲平臺，hive用作數(shù)據(jù)建模、清洗和結構化數(shù)據(jù)分析，并使用工具或腳本將數(shù)據(jù)導入關系數(shù)據(jù)庫數(shù)據(jù)節(jié)點，作為后續(xù)部門的結果數(shù)據(jù)。

一般的工作應該是通過hivesql、shell腳本或oozie等作業(yè)相關工具進行數(shù)據(jù)分析和統(tǒng)計，以便進行任務周期調度

還有很大的發(fā)展空間。利用SQL實現(xiàn)業(yè)務可以鍛煉思維邏輯，增加工作經(jīng)驗，后續(xù)可以做數(shù)據(jù)建模工程師，可以指導戰(zhàn)士做日常開發(fā)，而且薪水可觀