如何在Hadoop群集上運(yùn)行MapReduce程序
在Hadoop群集上真正地運(yùn)行MapReduce程序時(shí),我們需要將程序發(fā)布為JAR包并在群集上使用。下面將介紹在Eclipse中編寫好的MapReduce程序如何導(dǎo)出為JAR包。導(dǎo)出MapReduce
在Hadoop群集上真正地運(yùn)行MapReduce程序時(shí),我們需要將程序發(fā)布為JAR包并在群集上使用。下面將介紹在Eclipse中編寫好的MapReduce程序如何導(dǎo)出為JAR包。
導(dǎo)出MapReduce程序?yàn)镴AR包
1. 在導(dǎo)出之前,我們需要將MapReduce代碼中具體的輸入和輸出路徑更改為args[0]和args[1],如圖所示。
2. 在Eclipse中選擇【File】|【Export】,然后選擇【Java】|【Runnable JAR file】,如圖所示。
3. 接下來的所有參數(shù)可以采用默認(rèn)值,導(dǎo)出位置可以任選(例如Desktop)。
調(diào)整磁盤塊大小
1. 在磁盤塊【/dev/sda1】上點(diǎn)擊鼠標(biāo)右鍵,選擇【更改大小/移動(dòng)】,如圖所示。
2. 通過拉動(dòng)條帶,將磁盤塊【/dev/sda1】的大小調(diào)整為最大,如圖所示。
3. 調(diào)整后的情況如圖所示,在這時(shí)點(diǎn)擊【Apply】。
4. 當(dāng)Apply操作執(zhí)行完畢后,退出GParted即可,如圖所示。
5. 出現(xiàn)如圖所示的畫面時(shí),按下回車鍵,不要傻等變化發(fā)生。
以上就是在Hadoop群集上運(yùn)行MapReduce程序的步驟。通過將MapReduce程序?qū)С鰹镴AR包,并在群集上運(yùn)行,可以高效地處理大規(guī)模的數(shù)據(jù)。