hadoop刪除hdfs目錄 hadoop中一個(gè)大文件,在hdfs中是如何存儲(chǔ)的?
hadoop中一個(gè)大文件,在hdfs中是如何存儲(chǔ)的?文件存儲(chǔ)在塊中。例如,如果每個(gè)塊大小為64M,則5g文件將被劃分為5*1024/64=80個(gè)塊,并且每個(gè)塊將在不同的節(jié)點(diǎn)上存儲(chǔ)多個(gè)副本。依次寫(xiě)入da
hadoop中一個(gè)大文件,在hdfs中是如何存儲(chǔ)的?
文件存儲(chǔ)在塊中。例如,如果每個(gè)塊大小為64M,則5g文件將被劃分為5*1024/64=80個(gè)塊,并且每個(gè)塊將在不同的節(jié)點(diǎn)上存儲(chǔ)多個(gè)副本。依次寫(xiě)入datanode意味著依次寫(xiě)入每個(gè)塊。閱讀時(shí),也要逐條閱讀。當(dāng)然,這些都是由HDFS客戶機(jī)封裝的。您可以看到您正在讀取一個(gè)文件。