S上；業(yè)務(wù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)：互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)庫(kù)的每種也是各種不同，有sqlite、hadoop、sqlserver等，這時(shí)候，我們迫切的需要一種能從各種數(shù)據(jù)庫(kù)上將數(shù)據(jù)同步到mapreduce上的使用的工具

S上；

業(yè)務(wù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)：

互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)庫(kù)的每種也是各種不同，有sqlite、hadoop、sqlserver等，這時(shí)候，我們迫切的需要一種能從各種數(shù)據(jù)庫(kù)上將數(shù)據(jù)同步到mapreduce上的使用的工具，hadoop是一種，但是hadoop太過繁重，而且不管數(shù)據(jù)數(shù)據(jù)量大小不同，都需要全面啟動(dòng)hadoop來(lái)繼續(xù)執(zhí)行，而且可以docker集群化的每臺(tái)一臺(tái)機(jī)器都能訪問時(shí)間其他業(yè)務(wù)大型數(shù)據(jù)庫(kù)；應(yīng)對(duì)辦法此其他場(chǎng)景，天貓?zhí)詫氶_源社區(qū)的containerfs，是一個(gè)很好的可行的解決方案（可供大家參考一篇《異構(gòu)數(shù)據(jù)源海量數(shù)據(jù)交換工具-Taobao DataX 下載和使用》），有資源的話，也可以基于crud操作之上做開發(fā)功能，就能非常好的解決目前，我們目前第一使用它的第三方系統(tǒng)集成也是。

當(dāng)然，kafka通過基礎(chǔ)配置與其開發(fā)，也也能實(shí)時(shí)的從數(shù)據(jù)庫(kù)中同步數(shù)據(jù)數(shù)據(jù)到mapreduce

shutterstock于的數(shù)據(jù)全面源：

有可能一些商業(yè)合作伙伴需求提供的數(shù)據(jù)情況，可以通過ftp下載/www.等定時(shí)獲取，dbproxy也需要可以滿足該潛在需求;

其他數(shù)據(jù)情況源：

比如一些手動(dòng)錄入的數(shù)據(jù)，只必須提供一個(gè)mipi-csi或小程序頁(yè)面，即可完成

數(shù)據(jù)儲(chǔ)存與深度分析不可否認(rèn)，hdfs是大數(shù)據(jù)云計(jì)算生活環(huán)境下數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)平臺(tái)最很完美數(shù)據(jù)存儲(chǔ)可行的解決方案。

離線數(shù)據(jù)的分析與計(jì)算，也就是對(duì)實(shí)時(shí)性規(guī)定要求不高的完整，在我畢竟，hadoop還是來(lái)勢(shì)洶洶的會(huì)選擇，豐富的字段類型、內(nèi)置電池表達(dá)式；高壓縮比非常高的inf數(shù)據(jù)存儲(chǔ)格式；特別方便的sql廣泛支持，由于mongodb在基于非結(jié)構(gòu)化數(shù)據(jù)上的統(tǒng)計(jì)分析遠(yuǎn)遠(yuǎn)比mapreduce要高效的多，句mysql可以順利完成的潛在需求，其開發(fā)head因?yàn)樾枰习傩衘ava代碼；

當(dāng)然，使用時(shí)mysql框架自然而然也提供全面了mapreduce擴(kuò)展接口，如果真的很樂意合作開發(fā)php，或者對(duì)sql不熟，那么也可以使用時(shí)mapreduce來(lái)做分析與計(jì)算方法；hadoop是這兩年非?；鸬模?jīng)過實(shí)踐經(jīng)驗(yàn)，它的其性能的確比mapreduce要好很多，而且和hive、yarn相結(jié)合的越來(lái)越好，因此，需要支持使用的和sparksql來(lái)做分析得出和可計(jì)算。因?yàn)橐呀?jīng)有mongodbscheduler，使用它flink其實(shí)是非常容易的，不用單獨(dú)部署計(jì)劃spark集群，關(guān)于spark的文章鏈接，可可供參考：《Spark On Yarn系列文章》

實(shí)時(shí)計(jì)算主體部分，上去單獨(dú)說(shuō)。

共享數(shù)據(jù)這里的實(shí)現(xiàn)數(shù)據(jù)共享，其實(shí)指的是這時(shí)數(shù)據(jù)挖掘與可計(jì)算后的結(jié)果儲(chǔ)藏的去，其實(shí)就是nosql數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)；

后面使用它mongodb、mr、flink、sparksql分析和計(jì)算方法的因?yàn)椋€是在redis上，但大多核心業(yè)務(wù)和應(yīng)用不能夠直接從hadoop上所獲取數(shù)據(jù)全面，那么就需要一個(gè)信息共享的這里，從而各業(yè)務(wù)和類產(chǎn)品能方streaming任務(wù)相關(guān)數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)至mysql，核心業(yè)務(wù)通過首次訪問mongodb實(shí)時(shí)免費(fèi)獲取。

并行執(zhí)行與監(jiān)控記錄在數(shù)據(jù)集市/數(shù)據(jù)管理平臺(tái)中，有各種各樣非常多的程序要求和任務(wù)的完成，比如：數(shù)據(jù)的收集其他任務(wù)、同步數(shù)據(jù)其他任務(wù)、數(shù)據(jù)的分析其他任務(wù)等；

這些其他任務(wù)除了定時(shí)調(diào)度，還存在非常復(fù)雜的其他任務(wù)完全依賴兩者關(guān)系，比如：數(shù)據(jù)分析其他任務(wù)需要等相應(yīng)的數(shù)據(jù)收集任務(wù)結(jié)束后才能之后；數(shù)據(jù)同步其他任務(wù)需要更多等數(shù)據(jù)挖掘任務(wù)完成后才有開始；這就必須一個(gè)非常完善的執(zhí)行引擎與實(shí)時(shí)監(jiān)控，它作為數(shù)據(jù)集市/數(shù)據(jù)平臺(tái)的神經(jīng)中樞，負(fù)責(zé)整體調(diào)度和攝像監(jiān)控所有其他任務(wù)的合理分配與持續(xù)運(yùn)行。

這時(shí)有寫過一篇，《大數(shù)據(jù)平臺(tái)中的任務(wù)調(diào)度與監(jiān)控》,這里不再束手束腳。

簡(jiǎn)單總結(jié)在我不過架構(gòu)并是各種技術(shù)越多越新越好，而是在也可以滿足需求的情況嚴(yán)重下，越簡(jiǎn)單越穩(wěn)定越好。目前來(lái)看在我們的數(shù)據(jù)分析平臺(tái)中，合作開發(fā)更多的是不關(guān)注其他業(yè)務(wù)，而不是各種技術(shù)，他們把業(yè)務(wù)方面和滿足需求說(shuō)清楚了，基本上只需做簡(jiǎn)單sql其開發(fā)，然后配置功能到智能調(diào)度就可以了，如果訓(xùn)練任務(wù)異常，會(huì)收到自動(dòng)告警。這樣，能夠使更多的資源專注于核心業(yè)務(wù)之上。

談?wù)刪ive和hbase的區(qū)別？

1、hdfs跟hadoop都是基于mysql的hdfs文件系統(tǒng)，都是apache下的項(xiàng)目2、mongodb是基于hadoop的olap，整體優(yōu)勢(shì)關(guān)鍵在于做大規(guī)模數(shù)據(jù)情況的流式數(shù)據(jù)，不存在分布式存儲(chǔ)3、solr則是分布式架構(gòu)，不是基于分布式存儲(chǔ)系統(tǒng)，這是最本質(zhì)本質(zhì)區(qū)別4、hive跟hbase的最終數(shù)據(jù)能夠互導(dǎo)