怎么看出spark是單機模式還是集群模式？如果您的答案是否定的，那么，您可以關(guān)閉此頁。首先，新手經(jīng)常遇到一個問題：spark cluster是否一定需要Hadoop cluster？答案是否定的。有三

怎么看出spark是單機模式還是集群模式？

如果您的答案是否定的，那么，您可以關(guān)閉此頁。

首先，新手經(jīng)常遇到一個問題：spark cluster是否一定需要Hadoop cluster？

答案是否定的。有三種類型的火花簇：

獨立

Hadoop horn

mesos

今天，我們主要關(guān)注的是獨立模式。在這種模式下，我們完全可以使用NFS來代替Hadoop/HDFS。在許多情況下，獨立

1。將每個執(zhí)行器使用的CPU數(shù)設(shè)置為4

]spark.executor.cores4] ] 2. 限制CPU的數(shù)量。在這里，將啟動三個執(zhí)行器（12/4）spark.cores.max最大值12

3. 將每個執(zhí)行器的內(nèi)存大小設(shè)置為8gspark.executor.memory內(nèi)存12g

以上設(shè)置將啟動三個執(zhí)行器，每個執(zhí)行器使用4個CPU和12克ram。

它占用12個CPU和36個ram的工作資源。

spark1.6的源代碼是：

protected final string executor MEMORY=“--executor MEMORY”protected final string TOTAL executor CORES=“--TOTAL executor CORES”protected final string executor CORES=“--executor CORES”

提交任務(wù)時還可以添加：

sparksubmit classcom.dyq.spark公司.MyClass類--大師：火花:// 主：7077—執(zhí)行器內(nèi)核總數(shù)12--executor cores 24--executor memory 12g

提示

在使用過程中發(fā)現(xiàn)，如果使用spark 1.5以下的版本，有時即使有資源也無法應(yīng)用。

如何在Spark集群的work節(jié)點上啟動多個Executor？

建議使用8g以上的內(nèi)存，建議使用12g以上的內(nèi)存。spark的效率主要取決于數(shù)據(jù)量、內(nèi)存消耗、內(nèi)核數(shù)量（決定并發(fā)任務(wù)的數(shù)量）。硬件建設(shè)成本太高，建議構(gòu)建虛擬機集群