spark local模式 spark sql在standalone模式下的效率為什么比local低很多?
spark sql在standalone模式下的效率為什么比local低很多?如何初始化一個(gè)SparkContext?當(dāng)om pyspark導(dǎo)入sparkconf時(shí),sparkcontext#loca
spark sql在standalone模式下的效率為什么比local低很多?
如何初始化一個(gè)SparkContext?
當(dāng)om pyspark導(dǎo)入sparkconf時(shí),sparkcontext#local,URL,local computer(slave family的概念)#my app application name,conf=sparkconf()。Setmaster(“l(fā)ocal”)。Setappname(“我的應(yīng)用程序”)SC=sparkcontext(CONF=CONF)。此時(shí),SC是一個(gè)sparkcontext。一旦創(chuàng)建了sparkcontext的實(shí)例化對象,就可以立即創(chuàng)建RDD。