大數(shù)據(jù)實(shí)時(shí)處理Spark Streaming和Storm到底有什么區(qū)別？最重要的區(qū)別：Spark streaming是微批量加工，storm是帶鋼加工。例如：現(xiàn)在我們需要實(shí)現(xiàn)一個(gè)簡(jiǎn)單的信息流（新聞視頻

大數(shù)據(jù)實(shí)時(shí)處理Spark Streaming和Storm到底有什么區(qū)別？

最重要的區(qū)別：Spark streaming是微批量加工，storm是帶鋼加工。

例如：現(xiàn)在我們需要實(shí)現(xiàn)一個(gè)簡(jiǎn)單的信息流（新聞視頻）實(shí)時(shí)推薦系統(tǒng)，它可以用來(lái)：根據(jù)用戶(hù)點(diǎn)擊的新聞和視頻，每10秒?yún)R總一次用戶(hù)瀏覽新聞和視頻的日志事件，并根據(jù)協(xié)同過(guò)濾或相似度計(jì)算得到的離線(xiàn)推薦結(jié)果，計(jì)算出該期間瀏覽內(nèi)容的相關(guān)內(nèi)容，保存在HBase中，供用戶(hù)下次刷新列表。因?yàn)閷?shí)時(shí)性要求不是很高，我不需要實(shí)時(shí)反饋用戶(hù)的瀏覽行為毫秒。

2. Storm可以用來(lái)實(shí)時(shí)收集用戶(hù)的推薦結(jié)果。當(dāng)用戶(hù)刷新列表時(shí)，刷新請(qǐng)求被發(fā)送到Kafka。Storm實(shí)時(shí)處理這些請(qǐng)求，并在毫秒內(nèi)完成對(duì)用戶(hù)請(qǐng)求的結(jié)果集排序。組裝結(jié)果可以存儲(chǔ)在用戶(hù)的redis私有隊(duì)列中。當(dāng)用戶(hù)刷新請(qǐng)求時(shí)，結(jié)果在redis中獲得。