為什么Spark要用Scala實(shí)現(xiàn)？SBT更適合構(gòu)建Scala項(xiàng)目，Maven更適合構(gòu)建java項(xiàng)目。2對(duì)于spark中的API，Java和scala是不同的，但是差別不大。三。如果用Scala開發(fā)s

為什么Spark要用Scala實(shí)現(xiàn)？

SBT更適合構(gòu)建Scala項(xiàng)目，Maven更適合構(gòu)建java項(xiàng)目。2對(duì)于spark中的API，Java和scala是不同的，但是差別不大。三。如果用Scala開發(fā)spark原型程序，可以使用spark-shell進(jìn)行繪圖，也可以直接使用spark-shell進(jìn)行交互式實(shí)時(shí)查詢。4使用Scala的代碼量將會(huì)大大減少，但是使用Scala的門檻相對(duì)較高。建議：用Scala構(gòu)建spark作業(yè)，因?yàn)閟park本身是由SBT構(gòu)建的，用Scala開發(fā)spark作業(yè)有助于理解spark的實(shí)現(xiàn)機(jī)制。作者：egraldlo鏈接：

如何用spark實(shí)現(xiàn)好友推薦？

1。Spark-Mllib是用推薦程序?qū)崿F(xiàn)的，它封裝了als（alternativeleastsquares）來求解用戶項(xiàng)目評(píng)分矩陣的空值，只要應(yīng)用了數(shù)據(jù)就可以使用。缺點(diǎn)是不能增量計(jì)算，占用大量內(nèi)存。

2. 協(xié)同過濾、基于項(xiàng)目或用戶的聚類、SVM/Bayes的封裝，具體思路應(yīng)該不用多說。實(shí)施強(qiáng)化學(xué)習(xí)，實(shí)時(shí)反饋更新模型，推送給用戶。最難最時(shí)尚

1。斯帕克和斯卡拉真是天作之合。RDD的許多思想都與Scala類似，如map、filter等高階算子與list的概念完全相同。很短

代碼可以實(shí)現(xiàn)多行Java函數(shù)；類似于FP中的不可變和惰性計(jì)算，RDD可以實(shí)現(xiàn)為分布式內(nèi)存對(duì)象，也可以用于Java實(shí)現(xiàn)流水線。Scala善于借用資源。比如，最初的設(shè)計(jì)意圖包括對(duì)JVM的支持，完全可以借用Java的生態(tài)功能；比如spark，很多東西不應(yīng)該自己寫，可以直接使用和借鑒，比如直接部署在yarn、mesos、EC2中，使用HDFS、S3，借用hive的SQL解析部分；

3. 阿克卡也便于發(fā)展高效的網(wǎng)絡(luò)通信。

為什么Spark要用Scala實(shí)現(xiàn)？

在我的標(biāo)題中查找案例？

哪些spark大數(shù)據(jù)開發(fā)的實(shí)例可以用來快速入門？

實(shí)現(xiàn)了spark的基本功能，包括任務(wù)調(diào)度、內(nèi)存管理、錯(cuò)誤恢復(fù)和存儲(chǔ)系統(tǒng)交互。Spark內(nèi)核還包含了彈性分布式數(shù)據(jù)集的定義

Spark是一個(gè)用來操作結(jié)構(gòu)化數(shù)據(jù)SQL的程序，我們可以使用SQL或hive（HQL）來查詢數(shù)據(jù)，支持多種數(shù)據(jù)源，比如hive表是JSON，除了提供SQL查詢接口外，還支持SQL與傳統(tǒng)RDD的結(jié)合，開發(fā)人員可以使用SQL和編程（API）同時(shí)查詢和分析應(yīng)用程序中的數(shù)據(jù)。

它是spark提供的用于實(shí)時(shí)數(shù)據(jù)流計(jì)算的組件。例如，web服務(wù)器日志或消息隊(duì)列是數(shù)據(jù)流。

Spark提供了一個(gè)通用機(jī)器學(xué)習(xí)函數(shù)庫，包括許多機(jī)器學(xué)習(xí)算法，如分類、回歸、聚類、協(xié)作過濾等。

用于圖形計(jì)算，如社交網(wǎng)絡(luò)朋友圖。