如何在Hadoop群集上運行MapReduce程序
在Hadoop群集上真正地運行MapReduce程序時,我們需要將程序發(fā)布為JAR包并在群集上使用。下面將介紹在Eclipse中編寫好的MapReduce程序如何導出為JAR包。導出MapReduce
在Hadoop群集上真正地運行MapReduce程序時,我們需要將程序發(fā)布為JAR包并在群集上使用。下面將介紹在Eclipse中編寫好的MapReduce程序如何導出為JAR包。
導出MapReduce程序為JAR包
1. 在導出之前,我們需要將MapReduce代碼中具體的輸入和輸出路徑更改為args[0]和args[1],如圖所示。
2. 在Eclipse中選擇【File】|【Export】,然后選擇【Java】|【Runnable JAR file】,如圖所示。
3. 接下來的所有參數(shù)可以采用默認值,導出位置可以任選(例如Desktop)。
調(diào)整磁盤塊大小
1. 在磁盤塊【/dev/sda1】上點擊鼠標右鍵,選擇【更改大小/移動】,如圖所示。
2. 通過拉動條帶,將磁盤塊【/dev/sda1】的大小調(diào)整為最大,如圖所示。
3. 調(diào)整后的情況如圖所示,在這時點擊【Apply】。
4. 當Apply操作執(zhí)行完畢后,退出GParted即可,如圖所示。
5. 出現(xiàn)如圖所示的畫面時,按下回車鍵,不要傻等變化發(fā)生。
以上就是在Hadoop群集上運行MapReduce程序的步驟。通過將MapReduce程序?qū)С鰹镴AR包,并在群集上運行,可以高效地處理大規(guī)模的數(shù)據(jù)。