spark軟件是哪家公司的？是UC BerkeleyAMPlab(加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開源的類Hadoop MapReduce的通用并行框架，Spark，具備Hadoop MapRed

spark軟件是哪家公司的？

是UC BerkeleyAMPlab(加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開源的類Hadoop MapReduce的通用并行框架，Spark，具備Hadoop MapReduce所具高的優(yōu)點(diǎn)；但不只是MapReduce的是——Job中間輸出結(jié)果可以保存到在內(nèi)存中，進(jìn)而繼續(xù)不需要讀寫HDFS，而Spark能更合適地范圍問題于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等要迭代的MapReduce的算法。

400G數(shù)據(jù)需要分配多少spark內(nèi)存？

1、怎么分配哪些資源？

executor、coreperexecutor、memoryperexecutor、drivermemory2、在哪里怎么分配這些資源？

在我們?cè)谏a(chǎn)環(huán)境中，并提交spark作業(yè)時(shí)，用的spark-receiveshell腳本，里面調(diào)整隨機(jī)的參數(shù)/usr/sources/spark/bin/spark-submit--class--num-executors3配置executor的數(shù)量--executor-memory100m配置每個(gè)executor的內(nèi)存大小--executor-cores3配置每個(gè)executor的cpucore數(shù)量--driver-memory100m配置driver的內(nèi)存（影響大不大）/usr/policies/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar3、適當(dāng)調(diào)節(jié)到多大，可以算的最呢？

第一種，SparkStandalone，公司集群上，堆建了一套Spark集群，你心里應(yīng)該要知道每臺(tái)機(jī)器還都能夠給你使用的，也差不多有多少內(nèi)存，多少cpucore；那就，設(shè)置的時(shí)候，就依據(jù)這個(gè)求實(shí)際的情況，去功能調(diào)節(jié)每個(gè)spark作業(yè)的資源分配。比如你的每臺(tái)機(jī)器都能夠給你使用4G內(nèi)存，2個(gè)cpucore；20臺(tái)機(jī)器；executor，20；來算每個(gè)executor：4G內(nèi)存，2個(gè)cpucore。第二種，Yarn。資源隊(duì)列。資源調(diào)度。應(yīng)該要去打開系統(tǒng)，你的spark作業(yè)，要重新提交到的資源隊(duì)列，hadoopsparkstorm每一個(gè)隊(duì)列都有各自的資源（cpumem）大概有多少資源？500G內(nèi)存，100個(gè)cpucore；executor，50；平均每個(gè)executor:10G內(nèi)存，2個(gè)cpucore。Spark-submit的時(shí)候怎摸指定你資源隊(duì)列？--confspark.yarn.queuedefault設(shè)置隊(duì)列名稱:spark.yarn.queuedefault一個(gè)原則，你能建議使用的資源有多大，就不要去調(diào)節(jié)平衡到大的的大小（executor的數(shù)量，七八個(gè)到上百個(gè)不等；executor內(nèi)存；executorcpucore）