數(shù)據(jù)處理（ETL）和java開發(fā)職位選哪個？因此，如果您喜歡數(shù)據(jù)處理，請選擇數(shù)據(jù)處理。如果你想用Java編程，沒關(guān)系。關(guān)鍵是找出哪一個適合你，選擇最適合你的。etl如何實現(xiàn)業(yè)務(wù)原系統(tǒng)數(shù)據(jù)接入？數(shù)據(jù)增量

數(shù)據(jù)處理（ETL）和java開發(fā)職位選哪個？

因此，如果您喜歡數(shù)據(jù)處理，請選擇數(shù)據(jù)處理。如果你想用Java編程，沒關(guān)系。關(guān)鍵是找出哪一個適合你，選擇最適合你的。

etl如何實現(xiàn)業(yè)務(wù)原系統(tǒng)數(shù)據(jù)接入？數(shù)據(jù)增量全量抽取有幾種方案？

我們現(xiàn)在做的項目對ETL很有用。

項目剛成立兩三個月。目前，我指揮著四個人。明年，我們計劃再增加四個人?，F(xiàn)在，兩個人在做ETL數(shù)據(jù)提取，兩個人在做Java，我的戰(zhàn)斗力可以算作三個人在做Java。

為什么要單獨提取數(shù)據(jù)？

系統(tǒng)現(xiàn)在有大量的查詢，這些查詢是實時查詢。有些查詢涉及幾十個表的關(guān)聯(lián)，這些表少了幾千萬，大了幾億，所以有些接口的返回速度非常慢。

我們整理出一些可以接受T1的接口，提取相關(guān)數(shù)據(jù)，處理一次，把幾十個表的數(shù)據(jù)處理成一個完整的數(shù)據(jù)，保存在mongodb中，然后提供接口服務(wù)。

以前，界面需要幾秒鐘才能返回，有些甚至需要十幾秒鐘。現(xiàn)在，對于500個并發(fā)應(yīng)用程序，它基本上可以在100毫秒內(nèi)返回。

有沒有擴展性較好的ETL產(chǎn)品？

讓我介紹一下我知道的常見ETL工具：dataX、Datastage、Informatica、kettle和datapipeline。

阿里巴巴開源軟件：dataX

dataX是一款針對異構(gòu)數(shù)據(jù)源的離線同步工具。致力于實現(xiàn)關(guān)系數(shù)據(jù)庫（mysql、Oracle等）、HDFS、hive、ODPs、HBase、FTP等異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步

Kettle開源軟件：Kettle（中文名）

Kettle是國外開源ETL工具，純Java編寫，可以在windows上運行，Linux和UNIX，具有良好的可擴展性和高效穩(wěn)定的數(shù)據(jù)抽取。主從結(jié)構(gòu)，無高可用性。它不支持?jǐn)?shù)據(jù)的實時同步，也不支持?jǐn)帱c續(xù)航。

IBM商務(wù)軟件：Datastage

最專業(yè)的商務(wù)ETL工具，價格比較貴，但處理速度也能在大數(shù)據(jù)量下保持較快的處理速度和穩(wěn)定性。實時監(jiān)控也很不錯，可以看到數(shù)據(jù)提取的情況，運行到哪一步，很直觀。強大的售后技術(shù)支持。

商務(wù)軟件：Informatica

專業(yè)ETL工具，價格比Datastage便宜一點，需要安裝服務(wù)器和客戶端，處理速度與Datastage相同。分布式部署，支持實時性，但效率不高。技術(shù)支持主要在美國，所以在中國使用較少。

國產(chǎn)：datapipeline

國產(chǎn)充電工具，與dataX相比，datapipeline具有可視化的過程監(jiān)控，提供多樣化的圖標(biāo)、輔助操作和維護，以及故障問題的實時報警。DataX需要依賴工具日志來定位故障問題。支持實時，dataX是定時的。支持?jǐn)帱c延續(xù)，但dataX不支持。體系結(jié)構(gòu)也是分布式的，支持水平擴展。

水壺是一個小的數(shù)據(jù)要求，它唯一的優(yōu)勢是免費的

1。沒有過程管理。當(dāng)表被鎖定時，很難找到原因，并且無法終止進程，也無法控制最大進程數(shù)。

2. 數(shù)據(jù)抽取不能自動分包，也沒有像ABAP這樣高效的查詢語句，比如select from。。所有入口都在。。大數(shù)據(jù)處理速度很慢，大量數(shù)據(jù)的日常處理無法完成。

3. 無法自動處理指定字段的增量。

4. 無法調(diào)試，調(diào)試將不提取數(shù)據(jù)。

5. 在計劃處理鏈中指定命令非常麻煩。沒有接口操作。處理鏈中有錯誤。無法繼續(xù)運行或跳過處理。

6. 無法記錄每個處理詳細(xì)信息并記錄處理時間。

7. 無法共享字段。字段不關(guān)聯(lián)本位幣單位，沒有基礎(chǔ)資料字段的概念。

8. 沒有包處理的概念，沒有日志處理。

9. 沒有版本控制，聯(lián)機不是傳輸。

10. 另外，沒有外部發(fā)布WS、OData接口函數(shù)

更不用說報表函數(shù)，權(quán)限控制功能不強，底層數(shù)據(jù)庫也不是多維信息立方體結(jié)構(gòu)，字段也不區(qū)分指標(biāo)和特征。。。。。

ETL工具，Kettle和DataStage各自有什么優(yōu)缺點，目前哪個更流行一些？

兩個工程師的發(fā)展方向不同，主要集中在不同的方向：[ETL工程師，主要技術(shù)發(fā)展方向集中在數(shù)據(jù)庫，或者海量數(shù)據(jù)處理方向，未來可以發(fā)展到數(shù)據(jù)庫開發(fā)工程師、數(shù)據(jù)庫架構(gòu)師、數(shù)據(jù)分析師等

Java工程師，主要側(cè)重于軟件開發(fā)方向，即編程，也可以逐步發(fā)展為高級程序員、系統(tǒng)架構(gòu)師等

但開發(fā)不是絕對的。這主要取決于個人的機會和發(fā)展環(huán)境。我們不能說哪個好，哪個不好。