hadoop啟動(dòng)hdfs失敗是什么原因？起動(dòng)失敗原因很多，最常見(jiàn)的是：1、Hadoop權(quán)限訪問(wèn)權(quán)限問(wèn)題2、Host文件配置好不好錯(cuò)誤問(wèn)題的，節(jié)點(diǎn)之間網(wǎng)絡(luò)不通3、ssh無(wú)密碼登錄配置錯(cuò)誤4、hadoop

hadoop啟動(dòng)hdfs失敗是什么原因？

起動(dòng)失敗原因很多，最常見(jiàn)的是：

1、Hadoop權(quán)限訪問(wèn)權(quán)限問(wèn)題2、Host文件配置好不好錯(cuò)誤問(wèn)題的，節(jié)點(diǎn)之間網(wǎng)絡(luò)不通3、ssh無(wú)密碼登錄配置錯(cuò)誤4、hadoop未磁盤(pán)格式化hdfs文件系統(tǒng)5、配置文件hdfs-site.xmlcore-site.xmlmared-site.xmlyarn-site.xml配置錯(cuò)誤，到網(wǎng)上找個(gè)付費(fèi)的安裝文檔逐房檢查看看

hadoop2.0怎么解決hdfs局限性？

HDFS適用場(chǎng)景

海量數(shù)據(jù)存儲(chǔ)：HDFS可橫向擴(kuò)展，其讀取的文件也可以意見(jiàn)PB級(jí)別或更高級(jí)別的數(shù)據(jù)存儲(chǔ)。

高容錯(cuò)性：數(shù)據(jù)保存多個(gè)副本，副本弄丟后手動(dòng)重新恢復(fù)。可最終形成在便宜貨的機(jī)器上，實(shí)現(xiàn)程序線性擴(kuò)展。當(dāng)集群增加新節(jié)點(diǎn)之后，namenode也這個(gè)可以感應(yīng)，接受負(fù)載均衡，將數(shù)據(jù)全部分和備份數(shù)據(jù)均衡到新的節(jié)點(diǎn)上。

正式商用硬件：Hadoop當(dāng)然不要正常運(yùn)行在高級(jí)貨且高可靠的硬件上。它是設(shè)計(jì)不運(yùn)行在商用硬件（廉價(jià)的商品商業(yè)硬件）的集群上的。

大文件存儲(chǔ)：HDFS按結(jié)構(gòu)數(shù)據(jù)塊的存儲(chǔ)數(shù)據(jù)，將數(shù)據(jù)物理切組成多個(gè)小的數(shù)據(jù)塊。因?yàn)樵俅蟮臄?shù)據(jù)，切分后，大數(shù)據(jù)都變成了很多小數(shù)據(jù)。用戶(hù)無(wú)法讀取時(shí)，重新將多個(gè)小數(shù)據(jù)塊拼接出聲。

三次寫(xiě)入三次無(wú)法讀取。HDFS是電腦設(shè)計(jì)成適應(yīng)適應(yīng)兩次寫(xiě)入文件，過(guò)讀出來(lái)的場(chǎng)景，且不接受文件的修改。

正因?yàn)槿绱?，HDFS比較適合用處做大數(shù)據(jù)分析的底層存儲(chǔ)服務(wù)，并不更適合用來(lái)做.網(wǎng)盤(pán)等應(yīng)用，是因?yàn)椋绾涡薷牟淮蠓奖?，延遲大，網(wǎng)絡(luò)開(kāi)銷(xiāo)大，成本太高。

HDFS不適用場(chǎng)景

不能不能能夠做到更低延遲數(shù)據(jù)訪問(wèn)：的原因hadoop對(duì)于高數(shù)據(jù)吞吐量做了優(yōu)化，犧性了查看數(shù)據(jù)的延遲大，所以這對(duì)超低延遲訪問(wèn)數(shù)據(jù)的業(yè)務(wù)需求不比較適合HDFS。

不合適大量的小文件存儲(chǔ)：導(dǎo)致namenode將文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存中，因此該文件系統(tǒng)所能存儲(chǔ)的文件總數(shù)設(shè)備限制于namenode的內(nèi)存容量。依據(jù)經(jīng)驗(yàn)，每個(gè)文件、目錄和數(shù)據(jù)塊的存儲(chǔ)信息一共占150字節(jié)。但，要是有一百萬(wàn)個(gè)小文件，每個(gè)小文件都會(huì)占一個(gè)數(shù)據(jù)塊，那至少必須300MB內(nèi)存。假如是上億級(jí)別的，都會(huì)遠(yuǎn)超過(guò)當(dāng)前硬件的能力。

直接修改文件：。HDFS適合我一次寫(xiě)入，一次讀取的場(chǎng)景。相對(duì)于可以上傳到HDFS上的文件，不意見(jiàn)如何修改文件。Hadoop2.0確實(shí)接受了文件的賞分功能，但不個(gè)人建議對(duì)HDFS上的文件接受改。畢竟效率低下.

不支持用戶(hù)的并行寫(xiě)：兩時(shí)間內(nèi)，沒(méi)法有一個(gè)用戶(hù)不能執(zhí)行寫(xiě)你操作。