spark運(yùn)行jar包 python spark怎么打包jar?
python spark怎么打包jar?我學(xué)習(xí)spark將近一年,在spark工作了一個(gè)多月。建議多練習(xí),多用Scala。除非我熟悉Python,否則我使用pyspark。有許多環(huán)境隱患。例如,經(jīng)常使
python spark怎么打包jar?
我學(xué)習(xí)spark將近一年,在spark工作了一個(gè)多月。建議多練習(xí),多用Scala。除非我熟悉Python,否則我使用pyspark。有許多環(huán)境隱患。例如,經(jīng)常使用jar包。Scala和Java可以直接導(dǎo)入,但是Python不能,Java是用maven打包的,Scala是用SBT、Python打包的,您需要在集群上分別安裝依賴項(xiàng)。建議在GitHub上建立集群模型或找docker compose直接安裝集群。帶環(huán)境,RDD操作,提交部署過程,學(xué)習(xí)如何入門