spark是怎么區(qū)分transformer和action算子的？在我看來，spark編程中的action操作符充當(dāng)觸發(fā)器來觸發(fā)上一個轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會立即加載它。

spark是怎么區(qū)分transformer和action算子的？

在我看來，spark編程中的action操作符充當(dāng)觸發(fā)器來觸發(fā)上一個轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會立即加載它。只有當(dāng)一個動作操作符被執(zhí)行時(shí)，所有先前的轉(zhuǎn)換操作符才會被執(zhí)行。下面的代碼中列出了常見的操作操作符：（Java版本）包星火研究.core導(dǎo)入java.util.Arrays數(shù)組導(dǎo)入java.util.List導(dǎo)入java.util.Mapimport文件org.apache.spark網(wǎng)站.SparkConf導(dǎo)入org.apache.spark網(wǎng)站. api.java.javapairdd文件導(dǎo)入org.apache.spark網(wǎng)站. api.java.JavaRDD文件導(dǎo)入org.apache.spark網(wǎng)站. api.java.JavaSparkContext導(dǎo)入org.apache.spark網(wǎng)站. api.java.function函數(shù).函數(shù)導(dǎo)入org.apache.spark網(wǎng)站. api.java.function函數(shù)

apache spark需要什么基礎(chǔ)？

spark是用強(qiáng)大的Scala語言開發(fā)的。它還支持Scala、python、Java（支持java8）和R語言。一般來說，如果你有java或Python基金會，你可以學(xué)習(xí)SARD的RDD操作符操作，并執(zhí)行開發(fā)任務(wù)。

為什么Spark要用Scala實(shí)現(xiàn)？

1. 斯帕克和斯卡拉真是天作之合。RDD的許多思想都與Scala類似，如map、filter等高階算子與Scala的概念表完全相同。用很短的

代碼，可以實(shí)現(xiàn)多行Java函數(shù)；類似于FP中的不可變和惰性計(jì)算，RDD可以用分布式內(nèi)存對象實(shí)現(xiàn)，同時(shí)可以實(shí)現(xiàn)流水線。Scala善于利用例如，設(shè)計(jì)的初衷包括對JVM的支持，因此可以很好地借鑒Java的生態(tài)功能；像spark，很多東西不是自己寫的，但是可以直接借鑒，比如直接在yarn、mesos、EC2中部署，使用HDFS、S3，借用配置單元的SQL解析部分；

3。阿克卡也便于發(fā)展高效的網(wǎng)絡(luò)通信。