如何在idea中閱讀spark源代碼？首先，點擊項目的“項目結(jié)構(gòu)”菜單，彈出一個對話框。細(xì)心的用戶一定會發(fā)現(xiàn)，其中列出的模塊沒有紗線！這就是為什么與yarn模塊相關(guān)的代碼總是報告錯誤！只需在這里添加紗

如何在idea中閱讀spark源代碼？

首先，點擊項目的“項目結(jié)構(gòu)”菜單，彈出一個對話框。細(xì)心的用戶一定會發(fā)現(xiàn)，其中列出的模塊沒有紗線！這就是為什么與yarn模塊相關(guān)的代碼總是報告錯誤！只需在這里添加紗線模塊。逐步選擇添加->導(dǎo)入模塊->選擇pom.xml文件，然后逐步單擊“確定”。此時，在對話框2.10模塊中將有更多spark yarn，然后單擊Maven項目中的“重新導(dǎo)入所有Maven項目”。下載完yarn模塊中的所有依賴項后，我們可以看到該模塊中的代碼將不再報告錯誤

想研讀下spark的源碼，怎么搭閱讀和調(diào)試的環(huán)境？

考慮到eclipse對Scala的支持較差，不建議使用eclipse構(gòu)建源代碼讀取環(huán)境。建議使用此方法。方法1。用SBT直接編譯生成idea項目文件并導(dǎo)入idea。方法2。用idea直接導(dǎo)入git項目，用idea的SBT插件自動編譯。用以上兩種方法編譯應(yīng)該是最簡單的方法。如果網(wǎng)絡(luò)暢通，我就不用等太久。我花了大約一個小時來編譯spark1.6并下載到Mac上。如果您真的想使用eclipse，可以在將它作為Scala項目導(dǎo)入eclipse之前，嘗試用SBT編譯它。