etl如何實(shí)現(xiàn)業(yè)務(wù)原系統(tǒng)數(shù)據(jù)接入？數(shù)據(jù)增量全量抽取有幾種方案？我們現(xiàn)在做的項(xiàng)目對(duì)ETL很有用。項(xiàng)目剛成立兩三個(gè)月。目前，我指揮著四個(gè)人。明年，我們計(jì)劃再增加四個(gè)人。現(xiàn)在，兩個(gè)人在做ETL數(shù)據(jù)提取，兩個(gè)

etl如何實(shí)現(xiàn)業(yè)務(wù)原系統(tǒng)數(shù)據(jù)接入？數(shù)據(jù)增量全量抽取有幾種方案？

我們現(xiàn)在做的項(xiàng)目對(duì)ETL很有用。

項(xiàng)目剛成立兩三個(gè)月。目前，我指揮著四個(gè)人。明年，我們計(jì)劃再增加四個(gè)人?，F(xiàn)在，兩個(gè)人在做ETL數(shù)據(jù)提取，兩個(gè)人在做Java，我的戰(zhàn)斗力可以算作三個(gè)人在做Java。

為什么要單獨(dú)提取數(shù)據(jù)？

系統(tǒng)現(xiàn)在有大量的查詢，這些查詢是實(shí)時(shí)查詢。有些查詢涉及幾十個(gè)表的關(guān)聯(lián)，這些表少了幾千萬，大了幾億，所以有些接口的返回速度非常慢。

我們整理出一些可以接受T1的接口，提取相關(guān)數(shù)據(jù)，處理一次，把幾十個(gè)表的數(shù)據(jù)處理成一個(gè)完整的數(shù)據(jù)，保存在mongodb中，然后提供接口服務(wù)。

以前，界面需要幾秒鐘才能返回，有些甚至需要十幾秒鐘。現(xiàn)在，對(duì)于500個(gè)并發(fā)應(yīng)用程序，它基本上可以在100毫秒內(nèi)返回。

現(xiàn)在開發(fā)JAVA后臺(tái)，主要用哪些技術(shù)？

您的系統(tǒng)有多大，您的技術(shù)有多強(qiáng)大

！從我們公司的角度來看，使用java開發(fā)后臺(tái)服務(wù)使用了以下幾點(diǎn)

！2. 數(shù)據(jù)庫映射框架：mybatis

！3. 數(shù)據(jù)庫連接池：Druid

！4. 原木框架：slf4j

！5. 項(xiàng)目建設(shè)工具：Maven

！6. 版本控制工具：SVN和git

！7. 緩存：redis

！9. 工作流引擎：activiti

！10. 規(guī)則引擎：口水

！11. 微型服務(wù)容器：docker

！12、圖片、文件等上傳工具OSS

！14，原型視圖工具：Axure RP

！15. 后臺(tái)服務(wù)模擬訪問：郵遞員

！16，腳本：shell或Python

！17，語言：java8

！這些是工作中使用的后端技術(shù)。可以說程序員是全能的！可能還有更多，有待繼續(xù)