為什么建數(shù)據(jù)倉(cāng)庫(kù)需要使用ETL工具？數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)戰(zhàn)略集合，為各級(jí)決策過(guò)程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲(chǔ)。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫(kù)的對(duì)接

為什么建數(shù)據(jù)倉(cāng)庫(kù)需要使用ETL工具？

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)戰(zhàn)略集合，為各級(jí)決策過(guò)程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲(chǔ)。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫(kù)的對(duì)接問(wèn)題，以及數(shù)據(jù)的提取和整理問(wèn)題。

此時(shí)，ETL工具的功能體現(xiàn)在數(shù)據(jù)提取、轉(zhuǎn)換和加載的過(guò)程中，直至用于人們的分析。ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過(guò)程。

在某些地方，可以先在轉(zhuǎn)換中選擇和加載ELT。對(duì)于日志倉(cāng)庫(kù)，ETL首先要考慮業(yè)務(wù)需求，最后數(shù)據(jù)登陸模型要體現(xiàn)一定的主題。

一般來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)就像一個(gè)大的池。水池的供水需要水泵和水管，ETL負(fù)責(zé)水泵和水管的功能。

ETL抽取與SQL語(yǔ)句抽取比較？

一些ETL工具（如日志分析工具）可以提取增量數(shù)據(jù)，而不依賴于時(shí)間戳字段。SQL提取數(shù)據(jù)，沒有時(shí)間戳，只能提取全額。時(shí)間戳的機(jī)制取決于應(yīng)用程序的可靠性。如果應(yīng)用程序不可靠，提取的數(shù)據(jù)也不可靠。ETL有一些功能，比如計(jì)時(shí)；SQL提取必須依賴于其他機(jī)制。ETL工具一般都有一個(gè)完整的監(jiān)控功能，并記錄提取是否成功；SQL提取依賴于SQL、異常處理等。ETL工具具有一些擴(kuò)展功能，如雙向外部關(guān)聯(lián)，這是一般SQL所不支持的。

有沒有能采集軟件系統(tǒng)里面數(shù)據(jù)的工具？便宜點(diǎn)或者不要錢的那種？

1. Flume是一個(gè)免費(fèi)的日志收集工具，可以收集用戶在系統(tǒng)中的行為數(shù)據(jù)，如用戶的瀏覽行為、注意行為、購(gòu)買行為等。這個(gè)軟件不僅收集小數(shù)據(jù)，而且收集大數(shù)據(jù)。缺點(diǎn)是這個(gè)軟件缺陷仍然是完美的。

2. Kafka是一個(gè)分布式流數(shù)據(jù)采集軟件，可以實(shí)時(shí)采集數(shù)據(jù)。它很容易安裝、學(xué)習(xí)和使用

以上缺點(diǎn)是：如果你不是軟件和大數(shù)據(jù)方面的專業(yè)人士，你會(huì)有一點(diǎn)小麻煩。

ETL工具，Kettle和DataStage各自有什么優(yōu)缺點(diǎn)，目前哪個(gè)更流行一些？

1. 首先，Datastage屬于商業(yè)軟件，而kettle是開源軟件；源代碼軟件很受大眾歡迎，但執(zhí)行效率會(huì)比較慢！這需要以客戶為導(dǎo)向。

2. 在可操作性方面，DS和kettle都有GUI圖形界面，操作步驟相對(duì)簡(jiǎn)單易用；

3。從使用環(huán)境來(lái)看，一般來(lái)說(shuō)，在大型傳統(tǒng)金融行業(yè)，有一定數(shù)據(jù)管理規(guī)則的公司還是會(huì)選擇DS，效率高，大公司也有錢。

4. 另外，cattle是一個(gè)基于Java開發(fā)的ETL工具，在使用過(guò)程中需要借助JVM。在數(shù)據(jù)提取速度和大數(shù)據(jù)處理能力方面，kettle遠(yuǎn)遠(yuǎn)不如DS

5。在穩(wěn)定性方面，DS有很大的優(yōu)勢(shì)；

6釜的數(shù)據(jù)轉(zhuǎn)換過(guò)程比較靈活，可以手工編寫SQL語(yǔ)句、java代碼、正則表達(dá)式等；DS也支持SQL語(yǔ)句，它們之間沒有明顯的區(qū)別；

7。就數(shù)據(jù)源而言，它們之間沒有明顯的區(qū)別

ETL分別是“extract”和“transform”；“extraction”、“conversion”和“l(fā)oad”的縮寫也叫“extraction”、“conversion”和“l(fā)oad”，但它們?cè)谌粘Ｉ钪谐１环Q為數(shù)據(jù)抽取。ETL是商業(yè)智能/數(shù)據(jù)倉(cāng)庫(kù)（Bi/DW）的核心和靈魂。它根據(jù)統(tǒng)一的規(guī)則整合和提高數(shù)據(jù)的價(jià)值。它是將數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)換到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，是實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的重要步驟。ETL包括三個(gè)方面：“抽取”：從各種原始業(yè)務(wù)系統(tǒng)中讀取數(shù)據(jù)，這是所有工作的前提轉(zhuǎn)換：根據(jù)預(yù)先設(shè)計(jì)的規(guī)則，對(duì)提取出來(lái)的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使原來(lái)的異構(gòu)數(shù)據(jù)格式得到統(tǒng)一“加載”：將轉(zhuǎn)換后的數(shù)據(jù)按計(jì)劃增量或全部導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)。與ETL相比，ELT的優(yōu)點(diǎn)是在轉(zhuǎn)換過(guò)程中可以引用大量的數(shù)據(jù)。缺點(diǎn)是它可能只提取和加載數(shù)據(jù)，跳過(guò)轉(zhuǎn)換過(guò)程。一些ETL工具從源中提?。‥）數(shù)據(jù)，將（L）數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫(kù)，然后將（T）數(shù)據(jù)轉(zhuǎn)換到目標(biāo)數(shù)據(jù)庫(kù)。因此，有人給這種工具起了一個(gè)特殊的名字叫ELT。