spark local模式 spark sql在standalone模式下的效率為什么比local低很多?
spark sql在standalone模式下的效率為什么比local低很多?如何初始化一個SparkContext?當(dāng)om pyspark導(dǎo)入sparkconf時,sparkcontext#loca
spark sql在standalone模式下的效率為什么比local低很多?
如何初始化一個SparkContext?
當(dāng)om pyspark導(dǎo)入sparkconf時,sparkcontext#local,URL,local computer(slave family的概念)#my app application name,conf=sparkconf()。Setmaster(“l(fā)ocal”)。Setappname(“我的應(yīng)用程序”)SC=sparkcontext(CONF=CONF)。此時,SC是一個sparkcontext。一旦創(chuàng)建了sparkcontext的實例化對象,就可以立即創(chuàng)建RDD。