spark數(shù)據(jù)傾斜的解決方法 為什么運行不成功spark？
為什么運行不成功spark？原因有很多。您可以比較這兩次運行中的所有作業(yè)，找出哪些作業(yè)正在減速，然后詳細分析它們是由更多輸入、更多輸出還是數(shù)據(jù)傾斜引起的。如果作業(yè)的運行時間基本相同，可能是驅(qū)動端的一些
為什么運行不成功spark？
原因有很多。您可以比較這兩次運行中的所有作業(yè)，找出哪些作業(yè)正在減速，然后詳細分析它們是由更多輸入、更多輸出還是數(shù)據(jù)傾斜引起的。如果作業(yè)的運行時間基本相同，可能是驅(qū)動端的一些代碼占用了大量時間，也可能是GC造成的。