如何學(xué)習(xí)Spark API?
網(wǎng)友解答: 如何學(xué)習(xí)Spark API的問(wèn)題這個(gè)好說(shuō),這個(gè)就是如何學(xué)習(xí)Spark的問(wèn)題,首先你得弄明白Spark到底是什么東西,用來(lái)干什么的,適合那些場(chǎng)景,和其他的大數(shù)據(jù)架構(gòu)有什么區(qū)別和
如何學(xué)習(xí)Spark API的問(wèn)題這個(gè)好說(shuō),這個(gè)就是如何學(xué)習(xí)Spark的問(wèn)題,首先你得弄明白Spark到底是什么東西,用來(lái)干什么的,適合那些場(chǎng)景,和其他的大數(shù)據(jù)架構(gòu)有什么區(qū)別和優(yōu)點(diǎn)等等。你得結(jié)合實(shí)例來(lái)學(xué)習(xí)Spark API,然后在調(diào)試代碼,一直追蹤源碼,這樣你理解的Spark也會(huì)越來(lái)越深,理解的越來(lái)越徹底。而且,你看了源代碼之后,對(duì)于提升你的代碼質(zhì)量也有很大的好處。你學(xué)習(xí)去做一些開(kāi)源的項(xiàng)目來(lái)加深你的理解?,F(xiàn)在用的多的是Spark+YARN,你可以在這方面多下功夫。
Spark是一個(gè)大數(shù)據(jù)分布式處理框架。是一個(gè)通用的大規(guī)模數(shù)據(jù)快速處理引擎。在性能和方案的統(tǒng)一性具有優(yōu)勢(shì)。Spark由SparkSQL、SparkStreaming、MLlib和Graph組成,這些結(jié)合起來(lái)可以解決很大的問(wèn)題。
Spark的特點(diǎn)快速,在內(nèi)存上相比于MapReduce快100倍。Spark有一個(gè)有向無(wú)環(huán)圖執(zhí)行引擎,這使得Spark更加好用,而且Spark支持多語(yǔ)言操作。
網(wǎng)友解答:第一階段:熟練地掌握Scala語(yǔ)言
第二階段:精通Spark平臺(tái)本身提供給開(kāi)發(fā)者API
第三階段:深入Spark內(nèi)核
相關(guān)博文:blog.sina.com.cn/s/articlelist_6375451951_6_1.html