map的定義？map對像的元素是鍵一值對，也即每個(gè)元素中有兩個(gè)部分：鍵在內(nèi)由鍵關(guān)聯(lián)的值，map的value_type就反映了這個(gè)事實(shí)。mapltk,vgt::key_type在map容器中，用做索引的

map的定義？

map對像的元素是鍵一值對，也即每個(gè)元素中有兩個(gè)部分：鍵在內(nèi)由鍵關(guān)聯(lián)的值，map的value_type就反映了這個(gè)事實(shí)。

mapltk,vgt::key_type在map容器中，用做索引的鍵的類型。mapltk,vgt::mapped_type在map容器中，鍵所關(guān)聯(lián)的值的類型。mapltk,vgt::value_type一個(gè)pair類型，它的first元素具有constmapltk,vgt::value_type類型，而second元素側(cè)為mapltk,vgt::value_type類型。

mapreduce主要由哪四個(gè)階段組成？

mapreduce主要由200以內(nèi)四個(gè)階段組成：

1、split階段：

此階段，每個(gè)鍵入文件被分片鍵入到map。如一個(gè)文件有200M，系統(tǒng)默認(rèn)會被分成2片，畢竟每片的默認(rèn)大的值和每塊的默認(rèn)值128M同一。

如果鍵入為大量的小文件，則會造成過多的map數(shù)，倒致效率會下降，可區(qū)分壓縮鍵入格式CombineFileInputFormat。

2、map階段：

此階段，不能執(zhí)行map任務(wù)。map數(shù)由分片改變，若要提高map數(shù)，可大小改變，若降低map數(shù)，可增大。

3、shuffle階段：

此階段，將map的輸出經(jīng)由“收拾”后給到reduce，也被稱“混洗”。分成三類map端操作和reduce端你的操作。

在map端，map的輸出先寫入到緩存，當(dāng)每次緩存快滿時(shí)，由緩存“溢寫”至磁盤，每次溢寫都先通過“分區(qū)”，并對每個(gè)分區(qū)的數(shù)據(jù)并且“排序”和“合并”（可選）。象會再產(chǎn)生多個(gè)溢寫的文件，這些文件會在map端先被“歸并”為一個(gè)大的磁盤文件，再通知reduce任務(wù)來如何領(lǐng)取自己的分區(qū)。

在reduce端，每個(gè)reduce任務(wù)會從多個(gè)map任務(wù)領(lǐng)取文件，然后把將這些文件接受“歸并”，交給你們r(jià)educe任務(wù)。

合并（combine）和遷并（merge）的區(qū)別：對此兩個(gè)鍵值對“a”,1和“a”,1，如果擴(kuò)展，會得到“a”,2，即復(fù)用reduce的邏輯（也這個(gè)可以自己實(shí)現(xiàn)方法combiner類）；如果歸并，會換取“a”,1,1。combine為可選，可按照動(dòng)態(tài)鏈接庫（）設(shè)置這一不能操作。

4、reduce階段：

負(fù)責(zé)執(zhí)行reduce任務(wù)。reduce數(shù)量由分區(qū)數(shù)確定，而文件的數(shù)量也由此決定，且記錄默認(rèn)按key升序排列。reduce數(shù)量可實(shí)際可以設(shè)置，或在代碼中內(nèi)部函數(shù)(intn)方法。