大數(shù)據(jù)預(yù)測需要什么技術(shù)？1、數(shù)據(jù)采集：ETL工具全權(quán)負(fù)責(zé)將分布的位置的、存儲和計算數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到預(yù)備中間層后參與可以清洗、轉(zhuǎn)換、集成主板，最后程序加載到數(shù)據(jù)倉庫或數(shù)據(jù)集

大數(shù)據(jù)預(yù)測需要什么技術(shù)？

1、數(shù)據(jù)采集：ETL工具全權(quán)負(fù)責(zé)將分布的位置的、存儲和計算數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到預(yù)備中間層后參與可以清洗、轉(zhuǎn)換、集成主板，最后程序加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，下一界聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

2、數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫、SQL等。

3、基礎(chǔ)架構(gòu)：云存儲、分布式文件存儲等。

4、數(shù)據(jù)處理：自然語言處理是研究什么人與計算機交互的語言問題的一門學(xué)科。一次性處理自然語言的關(guān)鍵是要讓計算機

kettle是個什么程序？

Kettle是一款國外開源的ETL工具，純java編譯程序，也可以在Windows、Linux、Unix上不運行，數(shù)據(jù)灌注又高效穩(wěn)定。Kettle中文名稱叫水壺，該項目的主程序員MATT希望把各種數(shù)據(jù)放到一個壺里，然后再以一種委托的格式黑色的血。

Kettle這個ETL工具集，它不允許你管理充斥有所不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來請看你你想要做什么，而不是你想怎摸做。

Kettle中有兩種腳本文件，transformation和job，transformation能完成對于數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則成功整個工作流的控制。

作為Pentaho的一個重要組成部分，現(xiàn)在在國內(nèi)項目應(yīng)用上漸漸地突然增多。

如何用最簡單的邏輯說一下數(shù)據(jù)平臺是做啥的？

阿里提出了“大中臺，小前臺”，其中臺事業(yè)部包括搜索事業(yè)部、共享業(yè)務(wù)平臺、數(shù)據(jù)技術(shù)及產(chǎn)品部，數(shù)據(jù)技術(shù)及產(chǎn)品部應(yīng)是數(shù)據(jù)中臺建設(shè)的核心部門。

這樣的話，數(shù)據(jù)中臺倒底是什么？具體包含哪些內(nèi)容？跟大數(shù)據(jù)平臺是什么關(guān)系？在架構(gòu)層面是咋體現(xiàn)的？數(shù)據(jù)中臺跟產(chǎn)品又有什么關(guān)系？

阿里數(shù)據(jù)技術(shù)及產(chǎn)品部的掌門提倒了數(shù)據(jù)中臺的具體詳細(xì)含義，這里腳注他說的話：

“很多人會把數(shù)據(jù)比喻成“石油”，馬老師（馬云）也提過，阿里巴巴要曾經(jīng)的全球電子商務(wù)的“水電煤”。我們現(xiàn)在搭建中的數(shù)據(jù)中臺，那是如果能扮演“發(fā)電廠”的角色?！?/p>

“我們很清楚，電力的發(fā)展可以不分成三類幾個階段，最開始是一些有能力的企業(yè)自己發(fā)電站，再后來又出現(xiàn)新的工業(yè)產(chǎn)能，有的企業(yè)電用不掉，有的卻不夠的，這時候國家機構(gòu)就出了，會去堆建國家級的電網(wǎng)，論是核能發(fā)電，那就風(fēng)力發(fā)電、水力發(fā)電，大程度地保障不同群體的用電需求?！?/p>

“我們數(shù)據(jù)中臺都是這樣的話一個運轉(zhuǎn)思路，我們落到實處是一個倒三角形，向下兩類四個部分——”

“第一是數(shù)據(jù)技術(shù)。沒有數(shù)據(jù)中臺的時候，不管是阿里內(nèi)部我還是各商家，大家都是自己的數(shù)據(jù)中心、機房、小數(shù)據(jù)庫。但當(dāng)數(shù)據(jù)積累到一定體量后，這方面的成本會相當(dāng)高，不過數(shù)據(jù)之間的質(zhì)量和標(biāo)準(zhǔn)不一樣的，會可能導(dǎo)致效率不高等問題。并且，我們不需要通過數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)接受再采集、換算、存儲、加工，另外統(tǒng)一標(biāo)準(zhǔn)和口徑。”

“第二是數(shù)據(jù)資產(chǎn)。數(shù)據(jù)中臺把阿里系的數(shù)據(jù)統(tǒng)一之后，會連成標(biāo)準(zhǔn)數(shù)據(jù)，再進(jìn)行存儲，連成大數(shù)據(jù)資產(chǎn)層，從而可以保證為集團(tuán)各業(yè)務(wù)和商家提供給又高效服務(wù)?！?/p>

“第三和第四是數(shù)據(jù)服務(wù)，除開服務(wù)商家和服務(wù)小二。.例如生意參謀和阿里指數(shù)，那是數(shù)據(jù)中臺中向大商家端能提供的數(shù)據(jù)服務(wù)?！?/p>

“數(shù)據(jù)中臺服務(wù)阿里，說白了更多是在為各位商家服務(wù)。平臺會確保全大家在不使用數(shù)據(jù)的過程中，口徑、標(biāo)準(zhǔn)、時效性、效率都有保障，能有更高的可靠性和穩(wěn)定性?！?/p>

以上說得以前都對，但邏輯上有些是無法邏輯自恰的，比如這里的數(shù)據(jù)技術(shù)跟阿里云的數(shù)據(jù)技術(shù)是什么關(guān)系？數(shù)據(jù)中臺要千萬不能承擔(dān)全部hadoop/ETL這類平臺和工具的研發(fā)？生意參謀是個端到端的產(chǎn)品，很顯然沒法劃作數(shù)據(jù)中臺？

當(dāng)然，從職能看，以及中臺部門雖然必須基于條件產(chǎn)品再你服務(wù)一線客戶，而并非往后退，這也是以前筆者對此數(shù)據(jù)中臺的最的困惑，一直在在想這個數(shù)據(jù)中臺的部門績效該該如何定呢？沒有業(yè)務(wù)的滋養(yǎng)中臺如何能迭代優(yōu)化呢，阿里算得來幫了。

但如果沒有把直接的產(chǎn)品當(dāng)做中臺看樣子是不合理的，阿里提了數(shù)據(jù)中臺，忙壞的倒肯定是那些做數(shù)據(jù)架構(gòu)和數(shù)據(jù)管理的，畢竟架構(gòu)最講究邏輯嚴(yán)密，本質(zhì)和邊界前提是定義很清楚，沒有歧義，不然做事情變會很驚疑，不知道該怎摸何練起。

例如哪天領(lǐng)導(dǎo)問你，我們企業(yè)的數(shù)據(jù)中臺有沒有，要向阿里自學(xué)啊，有了清晰的概念你就是可以做映到了，不然就會格外局促不安，這種事情其實很多。

筆者的企業(yè)最近在做IT規(guī)劃，很多人就對數(shù)據(jù)中臺要帶一些產(chǎn)品職能有異議，記得以前筆者還把營銷平臺以為中臺，天下第一也是持續(xù)賦能所有營銷人員的，這是概念不清倒致的問題。

說來也詫異，網(wǎng)上不是那么容易找不到數(shù)據(jù)中臺的更現(xiàn)代自然科學(xué)解釋，能找到的大多也夠不夠清楚地，與大數(shù)據(jù)平臺有千絲萬縷的關(guān)系，筆者最近本來在認(rèn)真思索這個問題，懇請分享分享于你，當(dāng)然了仁者見仁，智者見智，仁者見仁，智者見智了。

所謂的數(shù)據(jù)中臺，即利用數(shù)據(jù)的分層與水平解耦，沉淀bec的數(shù)據(jù)能力，筆者認(rèn)為可分為三層，數(shù)據(jù)模型、數(shù)據(jù)服務(wù)與數(shù)據(jù)開發(fā)，數(shù)據(jù)建?；诙嗟赜驍?shù)據(jù)整合和知識沉淀，按照數(shù)據(jù)服務(wù)實現(xiàn)方法是對數(shù)據(jù)的封裝和開放，迅速、靈話滿足的條件上層應(yīng)用的要求，通過數(shù)據(jù)開發(fā)工具滿足的條件更加個性化數(shù)據(jù)和應(yīng)用的需要，見下圖（以某運營商為例）：