分時(shí)系統(tǒng)與批處理系統(tǒng)的區(qū)別 大數(shù)據(jù)實(shí)時(shí)處理Spark Streaming和Storm到底有什么區(qū)別?
大數(shù)據(jù)實(shí)時(shí)處理Spark Streaming和Storm到底有什么區(qū)別?最重要的區(qū)別:Spark streaming是微批量加工,storm是帶鋼加工。例如:現(xiàn)在我們需要實(shí)現(xiàn)一個(gè)簡(jiǎn)單的信息流(新聞視頻
大數(shù)據(jù)實(shí)時(shí)處理Spark Streaming和Storm到底有什么區(qū)別?
最重要的區(qū)別:Spark streaming是微批量加工,storm是帶鋼加工。
例如:現(xiàn)在我們需要實(shí)現(xiàn)一個(gè)簡(jiǎn)單的信息流(新聞視頻)實(shí)時(shí)推薦系統(tǒng),它可以用來(lái):根據(jù)用戶點(diǎn)擊的新聞和視頻,每10秒?yún)R總一次用戶瀏覽新聞和視頻的日志事件,并根據(jù)協(xié)同過(guò)濾或相似度計(jì)算得到的離線推薦結(jié)果,計(jì)算出該期間瀏覽內(nèi)容的相關(guān)內(nèi)容,保存在HBase中,供用戶下次刷新列表。因?yàn)閷?shí)時(shí)性要求不是很高,我不需要實(shí)時(shí)反饋用戶的瀏覽行為毫秒。
2. Storm可以用來(lái)實(shí)時(shí)收集用戶的推薦結(jié)果。當(dāng)用戶刷新列表時(shí),刷新請(qǐng)求被發(fā)送到Kafka。Storm實(shí)時(shí)處理這些請(qǐng)求,并在毫秒內(nèi)完成對(duì)用戶請(qǐng)求的結(jié)果集排序。組裝結(jié)果可以存儲(chǔ)在用戶的redis私有隊(duì)列中。當(dāng)用戶刷新請(qǐng)求時(shí),結(jié)果在redis中獲得。
批處理、分時(shí)、實(shí)時(shí)操作系統(tǒng)有什么區(qū)別?
批處理——以前主機(jī)上使用的系統(tǒng)需要提前寫(xiě)一批程序(打孔磁帶),然后分時(shí)計(jì)算結(jié)果——現(xiàn)在流行的PC機(jī)和服務(wù)器都采用這種操作方式,即將CPU的操作劃分為若干個(gè)時(shí)間片,在不同的時(shí)間段內(nèi)處理不同的操作請(qǐng)求實(shí)時(shí)分別——一般用在單片機(jī)上,如電在電梯的上下控制中,對(duì)按鍵等動(dòng)作要求進(jìn)行實(shí)時(shí)處理