spark是怎么區(qū)分transformer和action算子的？在我看來(lái)，spark編程中的action操作符充當(dāng)觸發(fā)器來(lái)觸發(fā)上一個(gè)轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會(huì)立即加載它。

spark是怎么區(qū)分transformer和action算子的？

在我看來(lái)，spark編程中的action操作符充當(dāng)觸發(fā)器來(lái)觸發(fā)上一個(gè)轉(zhuǎn)換操作符。轉(zhuǎn)換操作具有延遲加載的特性。定義操作后，不會(huì)立即加載它。只有當(dāng)一個(gè)動(dòng)作操作符被執(zhí)行時(shí)，所有先前的轉(zhuǎn)換操作符才會(huì)被執(zhí)行。下面的代碼中列出了常見(jiàn)的操作操作符：（Java版本）包星火研究.core導(dǎo)入java.util.Arrays數(shù)組導(dǎo)入java.util.List導(dǎo)入java.util.Mapimport文件org.apache.spark網(wǎng)站.SparkConf導(dǎo)入org.apache.spark網(wǎng)站. api.java.javapairdd文件導(dǎo)入org.apache.spark網(wǎng)站. api.java.JavaRDD文件導(dǎo)入org.apache.spark網(wǎng)站. api.java.JavaSparkContext導(dǎo)入org.apache.spark網(wǎng)站. api.java.function函數(shù).函數(shù)導(dǎo)入org.apache.spark網(wǎng)站. api.java.function函數(shù)

sparkforeachrdd是driver端還是worker端算子？

spark是用強(qiáng)大的Scala語(yǔ)言開(kāi)發(fā)的。它還支持Scala、python、Java（支持java8）和R語(yǔ)言。一般來(lái)說(shuō)，如果你有java或Python基金會(huì)，你可以學(xué)習(xí)SARD的RDD操作符操作，并執(zhí)行開(kāi)發(fā)任務(wù)。

算子和算法的區(qū)別？

算法是為了實(shí)現(xiàn)某一目標(biāo)而實(shí)現(xiàn)一系列指令的過(guò)程，指令中包含運(yùn)算符和操作數(shù)。

操作員：操作員，簡(jiǎn)而言之，就是執(zhí)行某種“操作”，動(dòng)作。與之相對(duì)應(yīng)的是要操作的對(duì)象，稱為操作數(shù)。

Spark中cache和persist的區(qū)別？

Cache

默認(rèn)值是將數(shù)據(jù)存儲(chǔ)在內(nèi)存中，延遲執(zhí)行

def Cache（）：此.type=Persist（）

Persist

可以指定持久性級(jí)別。

最常用的是僅內(nèi)存和內(nèi)存和磁盤(pán)。

“u2”表示副本數(shù)。盡量避免使用它u2和磁盤(pán)uuonly level

注意緩存和持久化

1。兩者都是延遲執(zhí)行（有些稱為延遲執(zhí)行），觸發(fā)執(zhí)行需要?jiǎng)幼?，最小單位是partition

2。緩存或持久化RDD后，下次直接使用此變量時(shí)，將使用持久化數(shù)據(jù)

3。如果使用第二種方法，則不能立即跟隨action操作符