為什么建數(shù)據(jù)倉庫需要使用ETL工具？一、什么是ETLETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)抽取、徹底清洗可以轉(zhuǎn)換之后運(yùn)行程序到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的聚集起來、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決

為什么建數(shù)據(jù)倉庫需要使用ETL工具？

一、什么是ETL

ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)抽取、徹底清洗可以轉(zhuǎn)換之后運(yùn)行程序到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的聚集起來、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策能提供講依據(jù)。

二、ETL的組成部分

ETL的設(shè)計(jì)分三部分：數(shù)據(jù)吸納、數(shù)據(jù)的清洗轉(zhuǎn)換、數(shù)據(jù)的打開程序。

在設(shè)計(jì)ETL的時(shí)候我們也是從這三部分出發(fā)。數(shù)據(jù)的抽取是從各個(gè)不同的數(shù)據(jù)源抽取到ODS(Operational Data Store，操作型數(shù)據(jù)存儲(chǔ))中——這個(gè)過程也是可以做一些數(shù)據(jù)的清洗和轉(zhuǎn)換的)，在注入的過程中必須搜找不同的抽取方法，盡可能的提高ETL的運(yùn)行效率。ETL三個(gè)部分中，花廢時(shí)間最長(zhǎng)的是“T”(Transform，徹底清洗、轉(zhuǎn)換)的部分，一般情況下這部分工作量是整個(gè)ETL的2/3。數(shù)據(jù)的加載一般在數(shù)據(jù)清洗完了之后然后讀取DW(Data Warehousing，數(shù)據(jù)倉庫)中去。

（一）數(shù)據(jù)的收集（Extract）

這一部分必須在調(diào)研階段做大量的工作，是需要要搞清楚數(shù)據(jù)是從幾個(gè)業(yè)務(wù)系統(tǒng)中來,各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫服務(wù)器運(yùn)行什么DBMS,是否需要必然手工數(shù)據(jù)，手工數(shù)據(jù)量有多大，如何確定存在非結(jié)構(gòu)化的數(shù)據(jù)等等，當(dāng)收集到完這些信息之后才這個(gè)可以接受數(shù)據(jù)收集的設(shè)計(jì)。

1、對(duì)于與貯放DW的數(shù)據(jù)庫系統(tǒng)完全相同的數(shù)據(jù)源處理方法

這一類數(shù)據(jù)源在設(shè)計(jì)上也很太容易。一般情況下，DBMS(SQLServer、Oracle)都會(huì)提供數(shù)據(jù)庫鏈接功能，在DW數(shù)據(jù)庫服務(wù)器和原業(yè)務(wù)系統(tǒng)之間組建真接的鏈接關(guān)系就是可以寫Select語句直接訪問。

2、對(duì)此與DW數(shù)據(jù)庫系統(tǒng)相同的數(shù)據(jù)源的處理方法

相對(duì)于這一類數(shù)據(jù)源，一般情況下也也可以實(shí)際ODBC的成立數(shù)據(jù)庫鏈接——如SQL Server和Oracle之間。如果不是肯定不能建立數(shù)據(jù)庫鏈接，也可以有兩種成功，一種是通過工具將源導(dǎo)出數(shù)據(jù)成.txt也可以是.xls文件，接著再將這些源系統(tǒng)文件導(dǎo)入到到ODS中。另外一種方法是程序接口來能完成。

3、是對(duì)文件類型數(shù)據(jù)源(.txt,.xls)，可以不陪訓(xùn)業(yè)務(wù)人員用來數(shù)據(jù)庫工具將這些數(shù)據(jù)導(dǎo)入到委托的數(shù)據(jù)庫，后再從重新指定的數(shù)據(jù)庫中灌注。也可以還可以不的力量工具利用。

4、增量更新完的問題

對(duì)于數(shù)據(jù)量大的系統(tǒng)，要考慮增量抽取。一般情況下，業(yè)務(wù)系統(tǒng)會(huì)記錄業(yè)務(wù)再一次發(fā)生的時(shí)間，我們這個(gè)可以為了做增量的標(biāo)志,每次來灌注之前簡(jiǎn)單確定ODS中記錄的最的時(shí)間，后再依據(jù)什么這個(gè)時(shí)間去業(yè)務(wù)系統(tǒng)取大于1這個(gè)時(shí)間所有的記錄。借用業(yè)務(wù)系統(tǒng)的時(shí)間戳，一般情況下，業(yè)務(wù)系統(tǒng)也沒的或部分有時(shí)間戳。

（二）數(shù)據(jù)的清洗轉(zhuǎn)換（Cleaning、Transform）

一般情況下，數(shù)據(jù)倉庫統(tǒng)稱ODS、DW兩部分。常見的做法是從業(yè)務(wù)系統(tǒng)到ODS做擦洗，將臟數(shù)據(jù)和不完整數(shù)據(jù)過濾后掉，在從ODS到DW的過程中轉(zhuǎn)換，并且一些業(yè)務(wù)規(guī)則的計(jì)算和聚合。

1、數(shù)據(jù)清洗

數(shù)據(jù)清洗的任務(wù)是過濾處理那些不符要求的數(shù)據(jù)，將水中的雜質(zhì)的結(jié)果丟給業(yè)務(wù)主管部門，去確認(rèn)是否需要過濾處理掉還是由業(yè)務(wù)單位修正之后再進(jìn)行吸納。

不符合規(guī)范的數(shù)據(jù)主要注意是有不求下載的數(shù)據(jù)、錯(cuò)誤`的數(shù)據(jù)、重復(fù)一遍的數(shù)據(jù)三大類。

(1)不求下載的數(shù)據(jù)：這一類數(shù)據(jù)通常是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表又不能匹配等。這對(duì)這一類數(shù)據(jù)過濾雜質(zhì)出來，按缺乏的內(nèi)容三個(gè)中寫入完全不同Excel文件向客戶重新提交，要求在明確規(guī)定的時(shí)間內(nèi)最后的神。補(bǔ)全后才寫入文件數(shù)據(jù)倉庫。

(2)錯(cuò)誤`的數(shù)據(jù)：這一類錯(cuò)誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)太少比較完備，在收得到輸入后就沒通過推測(cè)然后寫入到后臺(tái)數(shù)據(jù)庫會(huì)造成的，諸如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車你操作、日期格式不正確、日期越界等。這一類數(shù)據(jù)也要分類，是對(duì)傳說中的全角字符、數(shù)據(jù)前后有絕不可以見字符的問題，只能按照寫SQL語句的找不出來，然后再特別要求客戶在業(yè)務(wù)系統(tǒng)修正之后收集。日期格式不正確的的或則是日期越界的這一類出現(xiàn)錯(cuò)誤會(huì)可能導(dǎo)致ETL運(yùn)行失敗，這一類出錯(cuò)不需要去業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫用SQL的挑不出來，丟給業(yè)務(wù)主管部門要求限期修正，關(guān)于修改〈公司法〉的決定之后再注入。

(3)反復(fù)重復(fù)的數(shù)據(jù)：對(duì)此這一類數(shù)據(jù)——特別是維表中會(huì)直接出現(xiàn)情況——將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)進(jìn)去，讓客戶去確認(rèn)并整理。

數(shù)據(jù)清洗是一個(gè)疼時(shí)的過程，不可能在幾天內(nèi)完成，唯有斷的的發(fā)現(xiàn)到問題，解決問題的方法。對(duì)于有無過濾雜質(zhì)，有無抵消象沒有要求客戶確定，這對(duì)過濾雜質(zhì)掉的數(shù)據(jù)，寫入Excel文件也可以將過濾數(shù)據(jù)寫入到數(shù)據(jù)表，在ETL開發(fā)的初期是可以每天晚上向業(yè)務(wù)單位發(fā)送過濾數(shù)據(jù)的郵件，催進(jìn)他們及時(shí)地自我提高,同時(shí)也也可以做為將來修改密保數(shù)據(jù)的依據(jù)。數(shù)據(jù)清洗需要注意的是最好別將沒有用的數(shù)據(jù)過濾掉，相對(duì)于每個(gè)過濾規(guī)則誠(chéng)懇進(jìn)行修改密保，并要用戶確定。

2、數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換的任務(wù)通常接受不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換，這些一些商務(wù)規(guī)則的計(jì)算。

(1)不一致數(shù)據(jù)轉(zhuǎn)換：這個(gè)過程是一個(gè)整合起來的過程，將不同業(yè)務(wù)系統(tǒng)的同一類型的數(shù)據(jù)統(tǒng)一，諸如同一個(gè)供應(yīng)商在結(jié)算系統(tǒng)的編碼是XX0001,而在CRM中編碼是yy0001，那樣的話在灌注進(jìn)來之后統(tǒng)一轉(zhuǎn)換的成一個(gè)編碼。

(2)數(shù)據(jù)粒度的轉(zhuǎn)換：業(yè)務(wù)系統(tǒng)就像儲(chǔ)存相當(dāng)明細(xì)的數(shù)據(jù)，而數(shù)據(jù)倉庫中數(shù)據(jù)是單獨(dú)結(jié)論的，不要非常明細(xì)單的數(shù)據(jù)。一般情況下，會(huì)將業(yè)務(wù)系統(tǒng)數(shù)據(jù)通過數(shù)據(jù)倉庫粒度進(jìn)行聚合。

(3)商務(wù)規(guī)則的計(jì)算：相同的企業(yè)有完全不同的業(yè)務(wù)規(guī)則、不同的數(shù)據(jù)指標(biāo)，這些指標(biāo)有的時(shí)候也不是很簡(jiǎn)單加加減減就能能夠完成，這會(huì)兒必須在ETL中將這些數(shù)據(jù)指標(biāo)換算再說之后儲(chǔ)存在數(shù)據(jù)倉庫中，以供講不使用。

（三）數(shù)據(jù)加載(Load)

將數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)再運(yùn)行程序到數(shù)據(jù)庫隨機(jī)表中，假如是全量則按結(jié)構(gòu)LOAD，如果是增量則依據(jù)業(yè)務(wù)規(guī)則MERGE進(jìn)數(shù)據(jù)庫

三、ETL實(shí)現(xiàn)程序

ETL的實(shí)現(xiàn)有多種方法，具體用法的有三種。

借助于ETL工具：**(如Oracle的OWB、SQL Server2000的DTS、SQL Server2005的SSIS服務(wù)、Informatic等)基于，SQL實(shí)現(xiàn)程序：**SQL的方法優(yōu)點(diǎn)是身形靈活，增強(qiáng)ETL運(yùn)行效率，可是編碼復(fù)雜，對(duì)技術(shù)要求比較高。ETL工具和SQL相結(jié)合**，前兩種方法各有各的優(yōu)缺點(diǎn)，自身工具是可以迅速的建立起ETL工程，被屏蔽了復(fù)雜的編碼任務(wù)，能提高了速度，減少了難度，綜合考了前面二種的優(yōu)點(diǎn)，會(huì)如此大地增加ETL的開發(fā)速度和效率。

四、數(shù)據(jù)倉庫ODS、DW和DM概念判別

ODS——執(zhí)行性數(shù)據(jù)

DW——數(shù)據(jù)倉庫

DM——數(shù)據(jù)集市

數(shù)據(jù)倉庫的整理一番架構(gòu)，各個(gè)系統(tǒng)的元數(shù)據(jù)實(shí)際ETL離線到操作性數(shù)據(jù)倉庫ODS中，對(duì)ODS數(shù)據(jù)進(jìn)行正向主題域建模形成DW（數(shù)據(jù)倉庫），DM是是對(duì)某一個(gè)業(yè)務(wù)領(lǐng)域組建模型，詳細(xì)用戶（決策層）欄里點(diǎn)DM生成的報(bào)表。

數(shù)據(jù)倉庫的ODS、DW和DM概念

維度建模和范式建模的本質(zhì)？

1范式建模

Inmon所倡導(dǎo)人的范式建模那就是關(guān)系數(shù)據(jù)庫用的三范式建模方法，數(shù)據(jù)倉庫模型的建設(shè)方法和業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型類似于。有一些區(qū)別是：

1）數(shù)據(jù)倉庫的域模型肯定真包含業(yè)務(wù)數(shù)據(jù)模型到域模型之間的關(guān)系，和各主題域定義，數(shù)據(jù)倉庫的域模型概念比業(yè)務(wù)系統(tǒng)的主題域模型范圍更廣。

2）在數(shù)據(jù)倉庫的邏輯模型必須從業(yè)務(wù)系統(tǒng)的邏輯模型中抽象化實(shí)體、實(shí)體的屬性、實(shí)體的子類、實(shí)體關(guān)系等。

優(yōu)點(diǎn)：從關(guān)系型數(shù)據(jù)庫角度向北出發(fā)，特點(diǎn)了業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型，更方便基于數(shù)據(jù)倉庫的建模。

缺點(diǎn)：某些時(shí)候限制了整個(gè)數(shù)據(jù)倉庫的靈活性、性能等。最重要的在底層數(shù)據(jù)向數(shù)據(jù)集市匯總資料時(shí)是需要通過在量的數(shù)據(jù)處理工作。

2維度建模

Kimball主張維度建模法，那是按維度表、事實(shí)表來構(gòu)建體系數(shù)據(jù)倉庫、數(shù)據(jù)集市。維度建模有星形、雪花型兩種最常見的一種類型。

優(yōu)點(diǎn)：維度模型可極大實(shí)力提升數(shù)據(jù)倉庫的處理能力；牢牢地圍繞業(yè)務(wù)模型，形象直觀的反映業(yè)務(wù)問題。

缺點(diǎn)；形成完整模型之前是需要通過大量的數(shù)據(jù)預(yù)處理，當(dāng)業(yè)務(wù)變化后不需要原先定義,定義維度時(shí)，是需要然后再進(jìn)行維度數(shù)據(jù)的預(yù)處理；沒法可以提供一個(gè)發(fā)下地描述虛無飄渺業(yè)務(wù)實(shí)體之間古怪關(guān)系的抽象方法。

辯解；對(duì)此這些缺點(diǎn)，大都片面的，而且數(shù)據(jù)倉庫總線架構(gòu)和維度處理方法能挺好的能解決以下問題。