hadoop2.0怎么解決hdfs局限性？HDFS適用場景海量數(shù)據(jù)存儲：HDFS可橫向擴展，其讀取的文件是可以接受PB級別或更高級別的數(shù)據(jù)存儲。高容錯性：數(shù)據(jù)保存多個副本，副本丟失后自動可以恢復。可統(tǒng)

hadoop2.0怎么解決hdfs局限性？

HDFS適用場景

海量數(shù)據(jù)存儲：HDFS可橫向擴展，其讀取的文件是可以接受PB級別或更高級別的數(shù)據(jù)存儲。

高容錯性：數(shù)據(jù)保存多個副本，副本丟失后自動可以恢復?？山y(tǒng)合在廉價的機器上，利用線性擴展。當集群提升新節(jié)點之后，namenode也可以不感知，并且負載均衡，將數(shù)據(jù)清點交接和備份數(shù)據(jù)均衡到新的節(jié)點上。

商用技術(shù)硬件：Hadoop根本不必須啟動在貴得要命且高可靠的硬件上。它是設計正常運行在商用技術(shù)硬件（便宜的東西商業(yè)硬件）的集群上的。

大文件存儲：HDFS需要數(shù)據(jù)塊的存儲數(shù)據(jù)，將數(shù)據(jù)物理切組成多個小的數(shù)據(jù)塊。所以才再大的數(shù)據(jù)，區(qū)域分割后，大數(shù)據(jù)轉(zhuǎn)成了很多小數(shù)據(jù)。用戶讀取時，然后再將多個小數(shù)據(jù)塊拼接站了起來。

四次寫入一次讀取。HDFS是啊,設計成適應適應四次寫入文件，一次讀出來的場景，且不接受文件的修改。

正因為如此，HDFS比較適合用來做大數(shù)據(jù)分析的底層存儲服務，并不比較適合用處做.網(wǎng)盤等應用，因為，可以修改不方便，延遲大，網(wǎng)絡開銷大，成本太高。

HDFS不適用場景

肯定不能能夠做到低時延數(shù)據(jù)訪問：的原因hadoop因為高數(shù)據(jù)吞吐量做了優(yōu)化，代價了聲望兌換數(shù)據(jù)的網(wǎng)絡延遲，因此對于更低延遲不能訪問數(shù)據(jù)的業(yè)務需求不合適HDFS。

不適合大量的小文件存儲：導致namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內(nèi)存中，并且該文件系統(tǒng)所能存儲的文件總數(shù)受限制于namenode的內(nèi)存容量。參照經(jīng)驗，每個文件、目錄和數(shù)據(jù)塊的存儲信息總共占150字節(jié)。但，如果不是有一百萬個小文件，每個小文件都會占一個數(shù)據(jù)塊，那至少要300MB內(nèi)存。要是是上億級別的，是會遠超當前硬件的能力。

可以修改文件：。HDFS比較適合第二次中寫入，過讀取數(shù)據(jù)的場景。相對于上傳到HDFS上的文件，不意見直接修改文件。Hadoop2.0雖然意見了文件的答的好功能，但不建議對HDFS上的文件通過修改。因為效率低下.

不允許用戶的并行寫：相同時間內(nèi)，沒有辦法有一個用戶負責執(zhí)行寫你的操作。

如何將hdfs里某一目錄下的所有文件的文件名讀取出來？

默認是從hdfs讀取數(shù)據(jù)文件，也是可以更改sc.textFile(

hdfs 數(shù)據(jù)存儲技術(shù)？

數(shù)據(jù)存儲技術(shù)HDFS

一、概述

1.1分布式文件系統(tǒng)（DFS）的概念和作用

1.2HDFS總體概述

二、HDFS的查找概念

2.1塊

2.2NameNode

2.3SecondaryNameNode

2.4DataNode

三、HDFS體系架構(gòu)與原理

3.1HDFS體系結(jié)構(gòu)

3.2HDFS高可用機制