數(shù)據(jù)倉庫ETL到底是什么？ETL工作的實(shí)質(zhì)是從各種數(shù)據(jù)源中提取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行轉(zhuǎn)換，最后通過數(shù)據(jù)倉庫的維度建模，將數(shù)據(jù)加載到表中并填充到表中。只有填寫了這些維度/事實(shí)表，ETL工作才能完成。接下來，分

數(shù)據(jù)倉庫ETL到底是什么？

ETL工作的實(shí)質(zhì)是從各種數(shù)據(jù)源中提取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行轉(zhuǎn)換，最后通過數(shù)據(jù)倉庫的維度建模，將數(shù)據(jù)加載到表中并填充到表中。只有填寫了這些維度/事實(shí)表，ETL工作才能完成。接下來，分別闡述了提取、轉(zhuǎn)換和加載的三個(gè)步驟：數(shù)據(jù)倉庫面向分析，操作數(shù)據(jù)庫面向應(yīng)用。顯然，并非所有用于支持業(yè)務(wù)系統(tǒng)的數(shù)據(jù)都是分析所必需的。因此，本階段主要根據(jù)數(shù)據(jù)倉庫主題和主題字段確定從應(yīng)用數(shù)據(jù)庫中提取的編號。

在具體的開發(fā)過程中，開發(fā)人員必須經(jīng)常發(fā)現(xiàn)數(shù)據(jù)倉庫建模后某些ETL步驟與表描述不匹配。這時(shí)，需要重新檢查和設(shè)計(jì)需求，重新進(jìn)行ETL。正如本文在數(shù)據(jù)庫系列中提到的，任何涉及需求的更改都需要重新開始并更新需求文檔。

轉(zhuǎn)換步驟主要是指轉(zhuǎn)換提取的數(shù)據(jù)結(jié)構(gòu)以滿足目標(biāo)數(shù)據(jù)倉庫模型的過程。此外，轉(zhuǎn)換過程還對數(shù)據(jù)質(zhì)量負(fù)責(zé)，這也稱為數(shù)據(jù)清洗。這里可以參考數(shù)據(jù)質(zhì)量的內(nèi)容。

在加載過程中，為確保數(shù)據(jù)質(zhì)量而提取和轉(zhuǎn)換的數(shù)據(jù)將加載到目標(biāo)數(shù)據(jù)倉庫中。加載可以分為兩種類型：首次加載和刷新加載。其中，首次加載會(huì)涉及大量數(shù)據(jù)，而刷新加載是一種微批量加載。

我們可以說，隨著各種分布式和云計(jì)算工具的興起，ETL實(shí)際上已經(jīng)成為ELT。也就是說，業(yè)務(wù)系統(tǒng)本身不會(huì)做轉(zhuǎn)換工作，而是將數(shù)據(jù)導(dǎo)入到分布式平臺(tái)進(jìn)行簡單清洗后，讓平臺(tái)進(jìn)行清洗和轉(zhuǎn)換工作。這樣可以充分利用平臺(tái)的分布式特點(diǎn)，使業(yè)務(wù)系統(tǒng)更加專注于業(yè)務(wù)本身。

為什么建數(shù)據(jù)倉庫需要使用ETL工具？

數(shù)據(jù)倉庫是一個(gè)戰(zhàn)略集合，為各級決策過程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲(chǔ)。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫的對接問題，以及數(shù)據(jù)的提取和整理問題。

此時(shí)，ETL工具的功能體現(xiàn)在數(shù)據(jù)提取、轉(zhuǎn)換和加載的過程中，直至用于人們的分析。ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過程。

在某些地方，可以先在轉(zhuǎn)換中選擇和加載ELT。對于日志倉庫，ETL首先要考慮業(yè)務(wù)需求，最后數(shù)據(jù)登陸模型要體現(xiàn)一定的主題。

一般來說，數(shù)據(jù)倉庫就像一個(gè)大的池。水池的供水需要水泵和水管，ETL負(fù)責(zé)水泵和水管的功能。

制作數(shù)據(jù)分析報(bào)告的工具都有哪些？

1、Hadoop]Hadoop是一個(gè)可以分布式處理大量數(shù)據(jù)的軟件框架。但是Hadoop是以可靠、高效和可伸縮的方式處理的。另外，Hadoop依賴于社區(qū)服務(wù)器，所以它的成本相對較低，任何人都可以使用它。

2、SPSS統(tǒng)計(jì)軟件

它使用Windows窗口模式顯示各種數(shù)據(jù)管理和分析方法的功能，并使用對話框顯示各種功能選項(xiàng)。只要掌握一定的windows操作技巧，了解統(tǒng)計(jì)分析的原理，就可以利用該軟件進(jìn)行各種數(shù)據(jù)分析，為實(shí)際工作服務(wù)。

3、Stata統(tǒng)計(jì)軟件由計(jì)算機(jī)資源中心于1985年開發(fā)。它具有指令操作、程序容量小、統(tǒng)計(jì)分析方法完備、計(jì)算結(jié)果輸出形式簡單、圖形精美等特點(diǎn)。缺點(diǎn)是數(shù)據(jù)兼容性差，存儲(chǔ)空間大，數(shù)據(jù)管理功能有待加強(qiáng)。

4、Excel電子表格及統(tǒng)計(jì)功能

Excel電子表格是微軟公司推出的office系列產(chǎn)品之一，是一款功能強(qiáng)大的電子表格軟件。具有強(qiáng)大的表格管理和統(tǒng)計(jì)制表功能，操作方便。Excel的數(shù)據(jù)分析插件Xlstat也可以進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析，但缺點(diǎn)是運(yùn)算速度慢，統(tǒng)計(jì)方法不完整。

5、SAS統(tǒng)計(jì)軟件]SAS系統(tǒng)是一個(gè)具有30多個(gè)功能模塊的模塊化軟件系統(tǒng)。SAS是用匯編語言編寫的，通常使用SAS需要編寫程序，這更適合統(tǒng)計(jì)專業(yè)人員，但非統(tǒng)計(jì)專業(yè)人員學(xué)習(xí)SAS比較困難。SAS具有比較完整的數(shù)據(jù)訪問、數(shù)據(jù)管理、數(shù)據(jù)分析和數(shù)據(jù)表示等一系列功能。尤其是其首創(chuàng)產(chǎn)品統(tǒng)計(jì)分析系統(tǒng)，由于其強(qiáng)大的數(shù)據(jù)分析能力，一直是業(yè)界著名的應(yīng)用軟件。在數(shù)據(jù)處理方法和統(tǒng)計(jì)分析領(lǐng)域，被譽(yù)為國際標(biāo)準(zhǔn)軟件和最權(quán)威的優(yōu)秀統(tǒng)計(jì)軟件包。SAS系統(tǒng)提供的主要分析功能包括統(tǒng)計(jì)分析、計(jì)量經(jīng)濟(jì)分析、統(tǒng)計(jì)分析、時(shí)間序列分析、決策分析、財(cái)務(wù)分析和全面質(zhì)量管理等統(tǒng)計(jì)分析工具。