為什么建數據倉庫需要使用ETL工具？數據倉庫是一個戰(zhàn)略集合，為各級決策過程提供各種數據支持。它是為分析報告和決策支持目的而創(chuàng)建的單個數據存儲。由于要獲取所有的數據，必然涉及到多系統、多類型數據庫的對接

為什么建數據倉庫需要使用ETL工具？

數據倉庫是一個戰(zhàn)略集合，為各級決策過程提供各種數據支持。它是為分析報告和決策支持目的而創(chuàng)建的單個數據存儲。由于要獲取所有的數據，必然涉及到多系統、多類型數據庫的對接問題，以及數據的提取和整理問題。

此時，ETL工具的功能體現在數據提取、轉換和加載的過程中，直至用于人們的分析。ETL是數據抽取、轉換和加載的過程。

在某些地方，可以先在轉換中選擇和加載ELT。對于日志倉庫，ETL首先要考慮業(yè)務需求，最后數據登陸模型要體現一定的主題。

一般來說，數據倉庫就像一個大的池。水池的供水需要水泵和水管，ETL負責水泵和水管的功能。

數據倉庫ETL到底是什么？

ETL工作的實質是從各種數據源中提取數據，對數據進行轉換，最后通過數據倉庫的維度建模，將數據加載并填充到表中。只有填寫了這些維度/事實表，ETL工作才能完成。接下來，分別闡述了提取、轉換和加載的三個步驟：數據倉庫面向分析，操作數據庫面向應用。顯然，并非所有用于支持業(yè)務系統的數據都是分析所必需的。因此，本階段主要根據數據倉庫主題和主題字段確定從應用數據庫中提取的編號。

在具體的開發(fā)過程中，開發(fā)人員必須經常發(fā)現數據倉庫建模后某些ETL步驟與表描述不匹配。此時，ETL需要重新設計和重新設計。正如本文在數據庫系列中提到的，任何涉及需求的更改都需要重新開始并更新需求文檔。

轉換步驟主要是指轉換提取的數據結構以滿足目標數據倉庫模型的過程。此外，轉換過程還對數據質量負責，這也稱為數據清洗。這里可以參考數據質量的內容。

在加載過程中，為確保數據質量而提取和轉換的數據將加載到目標數據倉庫中。加載可以分為兩種類型：首次加載和刷新加載。其中，首次加載會涉及大量數據，而刷新加載是一種微批量加載。

我們可以說，隨著各種分布式和云計算工具的興起，ETL實際上已經成為ELT。也就是說，業(yè)務系統本身不會做轉換工作，而是將數據導入到分布式平臺進行簡單清洗后，讓平臺進行清洗和轉換工作。這樣可以充分利用平臺的分布式特點，使業(yè)務系統更加專注于業(yè)務本身。

數據ETL是指什么？

ETL是數據提取、清理、轉換和加載的過程。

是構建數據倉庫的重要組成部分，用戶從數據源中提取所需數據，經過數據清洗，最后根據預定義的數據倉庫模型，將數據加載到數據倉庫中。

大數據ETL工程師是做什么的，發(fā)展前景如何？

ETL工程師是大數據倉庫方向的一個職位，主要從事數據清洗、提取和轉換。目前，Hadoop的HDFS主要用作存儲平臺，hive用作數據建模、清洗和結構化數據分析，并使用工具或腳本將數據導入關系數據庫數據節(jié)點，作為后續(xù)部門的結果數據。

一般的工作應該是通過hivesql、shell腳本或oozie等作業(yè)相關工具進行數據分析和統計，用于任務周期調度

還有很大的發(fā)展空間，用SQL實現業(yè)務可以鍛煉思維邏輯，增加工作經驗，后續(xù)可以做數據建模工程師，可以指導士兵做日常開發(fā)，而且薪水也很可觀

ETL是“extract”的縮寫，“extraction”、“transformation”和“l(fā)oad”是“extraction”、“transformation”和“l(fā)oad”，但我們通常稱之為數據抽取。ETL是商業(yè)智能/數據倉庫（Bi/DW）的核心和靈魂。它根據統一的規(guī)則整合和提高數據的價值。它是將數據從數據源轉換到目標數據倉庫的過程，是實現數據倉庫的重要步驟。ETL包括三個方面：“抽取”：從各種原始業(yè)務系統中讀取數據，這是所有工作的前提轉換：根據預先設計的規(guī)則，對提取出來的數據進行轉換，使原來的異構數據格式得到統一“加載”：將轉換后的數據按計劃增量或全部導入數據倉庫。與ETL相比，ELT的優(yōu)點是在轉換過程中可以引用大量的數據。缺點是它可能只提取和加載數據，跳過轉換過程。一些ETL工具從源中提取（E）數據，將（L）數據加載到目標數據庫，然后將（T）數據轉換到目標數據庫。因此，有人給這種工具起了一個特殊的名字叫ELT。

etl的概念，etl和elt數據處理上的區(qū)別？

ETL工程師是從事系統編程、數據庫編程和設計，掌握多種常用編程語言的專業(yè)技術人員。也稱為數據庫工程師。工作內容：見工作職責：

1。ETL開發(fā)海量數據，提取成各種數據需求。

2. 參與數據倉庫體系結構的設計和開發(fā)。

3. 參與數據倉庫ETL流程優(yōu)化，解決ETL相關技術問題。4熟悉主流數據庫技術，如Oracle、sqlserver、postgesql等。精通ETL架構，有一定的ETL開發(fā)經驗，了解日常工作的部署和調度。5擅長數據ETL開發(fā)工具，如Datastage、Congos、kettle等。