spark計(jì)算原理 如何基于Spark Streaming構(gòu)建實(shí)時(shí)計(jì)算平臺(tái)?
如何基于Spark Streaming構(gòu)建實(shí)時(shí)計(jì)算平臺(tái)?Spark streaming是一個(gè)基于Spark的實(shí)時(shí)計(jì)算框架,它擴(kuò)展了Spark處理大規(guī)模流數(shù)據(jù)的能力。spark流的優(yōu)點(diǎn)是它可以在1000
如何基于Spark Streaming構(gòu)建實(shí)時(shí)計(jì)算平臺(tái)?
Spark streaming是一個(gè)基于Spark的實(shí)時(shí)計(jì)算框架,它擴(kuò)展了Spark處理大規(guī)模流數(shù)據(jù)的能力。spark流的優(yōu)點(diǎn)是它可以在1000個(gè)節(jié)點(diǎn)上以秒延遲運(yùn)行。
采用基于內(nèi)存的spark作為執(zhí)行引擎,具有高效、容錯(cuò)的特點(diǎn)。
可以集成批量處理和spark的交互式查詢。
它提供了一個(gè)簡單的界面,類似于復(fù)雜算法的批處理。
正是由于這個(gè)原因,spark-streaming受到了很多企業(yè)的追捧,在生產(chǎn)項(xiàng)目中得到了廣泛的應(yīng)用,但在使用過程中也存在一些熱點(diǎn)問題。
原文的詳細(xì)解釋:https://blog.csdn.net/GitChat/article/details/78050311