hadoop hadoop執(zhí)行總是有一個reduce失敗,求解?
hadoop執(zhí)行總是有一個reduce失敗,求解?這取決于要回滾的減速器級別。map成功執(zhí)行后,Hadoop會啟動整個作業(yè)對應(yīng)的reducer,會有reduce階段。如果失敗了,就不會成功。然后,如果
hadoop執(zhí)行總是有一個reduce失敗,求解?
這取決于要回滾的減速器級別。map成功執(zhí)行后,Hadoop會啟動整個作業(yè)對應(yīng)的reducer,會有reduce階段。如果失敗了,就不會成功。然后,如果設(shè)置運行10個reduce任務(wù),Hadoop將把map的輸出分成10個部分,這些部分將由10個reduce任務(wù)處理。一般來說,在判斷Mr成功之前,必須有10項任務(wù)是成功的。但是,10個reduce任務(wù)不一定只運行10個物理任務(wù)。如果有多個插槽,則每個任務(wù)可能有多個正在運行的嘗試。如果只有一次嘗試失敗,就不會有任何影響,因為每個任務(wù)只需要一次成功的嘗試