python有什么用 python的第三方包能直接在pyspark環(huán)境下用么？
python的第三方包能直接在pyspark環(huán)境下用么？spark（和pyspark）的執(zhí)行可以特別詳細(xì)，許多信息日志消息將打印到屏幕上。在開發(fā)過程中，這非常煩人，因?yàn)镻ython堆棧跟蹤或打印輸出可
python的第三方包能直接在pyspark環(huán)境下用么？
spark（和pyspark）的執(zhí)行可以特別詳細(xì)，許多信息日志消息將打印到屏幕上。在開發(fā)過程中，這非常煩人，因?yàn)镻ython堆棧跟蹤或打印輸出可能會丟失。
要減少spark輸出-您可以在home/conf下設(shè)置$sparkLog4j。
首先，復(fù)制$sparkhome/conf/Log4j。屬性.模板文件，刪除“。模板“擴(kuò)展。