為什么建數(shù)據(jù)倉庫需要使用ETL工具？數(shù)據(jù)倉庫是一個戰(zhàn)略集合，為各級決策過程提供各種數(shù)據(jù)支持。它是為分析報告和決策支持目的而創(chuàng)建的單個數(shù)據(jù)存儲。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫的對接

為什么建數(shù)據(jù)倉庫需要使用ETL工具？

數(shù)據(jù)倉庫是一個戰(zhàn)略集合，為各級決策過程提供各種數(shù)據(jù)支持。它是為分析報告和決策支持目的而創(chuàng)建的單個數(shù)據(jù)存儲。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫的對接問題，以及數(shù)據(jù)的提取和整理問題。

此時，ETL工具的功能體現(xiàn)在數(shù)據(jù)提取、轉(zhuǎn)換和加載的過程中，直至用于人們的分析。ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過程。

在某些地方，可以先在轉(zhuǎn)換中選擇和加載ELT。對于日志倉庫，ETL首先要考慮業(yè)務(wù)需求，最后數(shù)據(jù)登陸模型要體現(xiàn)一定的主題。

一般來說，數(shù)據(jù)倉庫就像一個大的池。水池的供水需要水泵和水管，ETL負(fù)責(zé)水泵和水管的功能。

數(shù)據(jù)倉庫ETL到底是什么？

ETL工作的實質(zhì)是從各種數(shù)據(jù)源中提取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行轉(zhuǎn)換，最后通過數(shù)據(jù)倉庫的維度建模，將數(shù)據(jù)加載并填充到表中。只有填寫了這些維度/事實表，ETL工作才能完成。接下來，分別闡述了提取、轉(zhuǎn)換和加載的三個步驟：數(shù)據(jù)倉庫面向分析，操作數(shù)據(jù)庫面向應(yīng)用。顯然，并非所有用于支持業(yè)務(wù)系統(tǒng)的數(shù)據(jù)都是分析所必需的。因此，本階段主要根據(jù)數(shù)據(jù)倉庫主題和主題字段確定從應(yīng)用數(shù)據(jù)庫中提取的編號。

在具體的開發(fā)過程中，開發(fā)人員必須經(jīng)常發(fā)現(xiàn)數(shù)據(jù)倉庫建模后某些ETL步驟與表描述不匹配。此時，ETL需要重新設(shè)計和重新設(shè)計。正如本文在數(shù)據(jù)庫系列中提到的，任何涉及需求的更改都需要重新開始并更新需求文檔。

轉(zhuǎn)換步驟主要是指轉(zhuǎn)換提取的數(shù)據(jù)結(jié)構(gòu)以滿足目標(biāo)數(shù)據(jù)倉庫模型的過程。此外，轉(zhuǎn)換過程還對數(shù)據(jù)質(zhì)量負(fù)責(zé)，這也稱為數(shù)據(jù)清洗。這里可以參考數(shù)據(jù)質(zhì)量的內(nèi)容。

在加載過程中，為確保數(shù)據(jù)質(zhì)量而提取和轉(zhuǎn)換的數(shù)據(jù)將加載到目標(biāo)數(shù)據(jù)倉庫中。加載可以分為兩種類型：首次加載和刷新加載。其中，首次加載會涉及大量數(shù)據(jù)，而刷新加載是一種微批量加載。

我們可以說，隨著各種分布式和云計算工具的興起，ETL實際上已經(jīng)成為ELT。也就是說，業(yè)務(wù)系統(tǒng)本身不會做轉(zhuǎn)換工作，而是將數(shù)據(jù)導(dǎo)入到分布式平臺進(jìn)行簡單清洗后，讓平臺進(jìn)行清洗和轉(zhuǎn)換工作。這樣可以充分利用平臺的分布式特點(diǎn)，使業(yè)務(wù)系統(tǒng)更加專注于業(yè)務(wù)本身。

數(shù)據(jù)ETL是指什么？

ETL是數(shù)據(jù)提取、清理、轉(zhuǎn)換和加載的過程。

是構(gòu)建數(shù)據(jù)倉庫的重要組成部分，用戶從數(shù)據(jù)源中提取所需數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最后根據(jù)預(yù)定義的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

大數(shù)據(jù)ETL工程師是做什么的，發(fā)展前景如何？

ETL工程師是大數(shù)據(jù)倉庫方向的一個職位，主要從事數(shù)據(jù)清洗、提取和轉(zhuǎn)換。目前，Hadoop的HDFS主要用作存儲平臺，hive用作數(shù)據(jù)建模、清洗和結(jié)構(gòu)化數(shù)據(jù)分析，并使用工具或腳本將數(shù)據(jù)導(dǎo)入關(guān)系數(shù)據(jù)庫數(shù)據(jù)節(jié)點(diǎn)，作為后續(xù)部門的結(jié)果數(shù)據(jù)。

一般的工作應(yīng)該是通過hivesql、shell腳本或oozie等作業(yè)相關(guān)工具進(jìn)行數(shù)據(jù)分析和統(tǒng)計，用于任務(wù)周期調(diào)度

還有很大的發(fā)展空間，用SQL實現(xiàn)業(yè)務(wù)可以鍛煉思維邏輯，增加工作經(jīng)驗，后續(xù)可以做數(shù)據(jù)建模工程師，可以指導(dǎo)士兵做日常開發(fā)，而且薪水也很可觀

ETL是“extract”的縮寫，“extraction”、“transformation”和“l(fā)oad”是“extraction”、“transformation”和“l(fā)oad”，但我們通常稱之為數(shù)據(jù)抽取。ETL是商業(yè)智能/數(shù)據(jù)倉庫（Bi/DW）的核心和靈魂。它根據(jù)統(tǒng)一的規(guī)則整合和提高數(shù)據(jù)的價值。它是將數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)換到目標(biāo)數(shù)據(jù)倉庫的過程，是實現(xiàn)數(shù)據(jù)倉庫的重要步驟。ETL包括三個方面：“抽取”：從各種原始業(yè)務(wù)系統(tǒng)中讀取數(shù)據(jù)，這是所有工作的前提轉(zhuǎn)換：根據(jù)預(yù)先設(shè)計的規(guī)則，對提取出來的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使原來的異構(gòu)數(shù)據(jù)格式得到統(tǒng)一“加載”：將轉(zhuǎn)換后的數(shù)據(jù)按計劃增量或全部導(dǎo)入數(shù)據(jù)倉庫。與ETL相比，ELT的優(yōu)點(diǎn)是在轉(zhuǎn)換過程中可以引用大量的數(shù)據(jù)。缺點(diǎn)是它可能只提取和加載數(shù)據(jù)，跳過轉(zhuǎn)換過程。一些ETL工具從源中提?。‥）數(shù)據(jù)，將（L）數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫，然后將（T）數(shù)據(jù)轉(zhuǎn)換到目標(biāo)數(shù)據(jù)庫。因此，有人給這種工具起了一個特殊的名字叫ELT。

etl的概念，etl和elt數(shù)據(jù)處理上的區(qū)別？

ETL工程師是從事系統(tǒng)編程、數(shù)據(jù)庫編程和設(shè)計，掌握多種常用編程語言的專業(yè)技術(shù)人員。也稱為數(shù)據(jù)庫工程師。工作內(nèi)容：見工作職責(zé)：

1。ETL開發(fā)海量數(shù)據(jù)，提取成各種數(shù)據(jù)需求。

2. 參與數(shù)據(jù)倉庫體系結(jié)構(gòu)的設(shè)計和開發(fā)。

3. 參與數(shù)據(jù)倉庫ETL流程優(yōu)化，解決ETL相關(guān)技術(shù)問題。4熟悉主流數(shù)據(jù)庫技術(shù)，如Oracle、sqlserver、postgesql等。精通ETL架構(gòu)，有一定的ETL開發(fā)經(jīng)驗，了解日常工作的部署和調(diào)度。5擅長數(shù)據(jù)ETL開發(fā)工具，如Datastage、Congos、kettle等。