hadoop hadoop執(zhí)行總是有一個(gè)reduce失敗,求解?
hadoop執(zhí)行總是有一個(gè)reduce失敗,求解?這取決于要回滾的減速器級(jí)別。map成功執(zhí)行后,Hadoop會(huì)啟動(dòng)整個(gè)作業(yè)對(duì)應(yīng)的reducer,會(huì)有reduce階段。如果失敗了,就不會(huì)成功。然后,如果
hadoop執(zhí)行總是有一個(gè)reduce失敗,求解?
這取決于要回滾的減速器級(jí)別。map成功執(zhí)行后,Hadoop會(huì)啟動(dòng)整個(gè)作業(yè)對(duì)應(yīng)的reducer,會(huì)有reduce階段。如果失敗了,就不會(huì)成功。然后,如果設(shè)置運(yùn)行10個(gè)reduce任務(wù),Hadoop將把map的輸出分成10個(gè)部分,這些部分將由10個(gè)reduce任務(wù)處理。一般來(lái)說(shuō),在判斷Mr成功之前,必須有10項(xiàng)任務(wù)是成功的。但是,10個(gè)reduce任務(wù)不一定只運(yùn)行10個(gè)物理任務(wù)。如果有多個(gè)插槽,則每個(gè)任務(wù)可能有多個(gè)正在運(yùn)行的嘗試。如果只有一次嘗試失敗,就不會(huì)有任何影響,因?yàn)槊總€(gè)任務(wù)只需要一次成功的嘗試