hadoop節(jié)點(diǎn)更換硬盤(pán)后注意事項(xiàng)？存儲(chǔ)文件的時(shí)候是需要委托存儲(chǔ)的路徑，這個(gè)路徑是HDFS的路徑。而不是哪個(gè)節(jié)點(diǎn)的某個(gè)目錄。比如說(shuō)./hadoopfs-throwlocalfilehdfspat好象你

hadoop節(jié)點(diǎn)更換硬盤(pán)后注意事項(xiàng)？

存儲(chǔ)文件的時(shí)候是需要委托存儲(chǔ)的路徑，這個(gè)路徑是HDFS的路徑。而不是哪個(gè)節(jié)點(diǎn)的某個(gè)目錄。比如說(shuō)./hadoopfs-throwlocalfilehdfspat好象你操作的當(dāng)前路徑是/user/hadoop諸如負(fù)責(zé)執(zhí)行./hadoopfs-ls.事實(shí)上就等同于./hadoopfs-ls/user/hadoop2、HDFS本身那是一個(gè)文件系統(tǒng)，在建議使用的時(shí)候其實(shí)用不著如此關(guān)心具體詳細(xì)的文件是存儲(chǔ)在哪個(gè)節(jié)點(diǎn)上的。假如要可以查詢(xún)是可以通過(guò)頁(yè)面來(lái)查找，也是可以是從API來(lái)實(shí)現(xiàn)程序查詢(xún)。

hdfs存儲(chǔ)機(jī)制？

HDFS（Hadoop Distributed FileSystem），它是一個(gè)文件系統(tǒng)，作用于存儲(chǔ)文件，目錄樹(shù)來(lái)定位文件；主要，它是分布式的，由很多服務(wù)器組織起來(lái)利用其功能，集群中的服務(wù)器有各自的角色。集群不當(dāng)然是分布式的，但是分布式一定是集群。

HDFS的設(shè)計(jì)合適一次中寫(xiě)入，多次讀出的場(chǎng)景，且不支持文件的修改。比較適合用來(lái)做數(shù)據(jù)講，并不合適用處做網(wǎng)盤(pán)應(yīng)用。

hive cli提供了什么命令形式？

1、showtables--查找所有表

2、desctabname--打開(kāi)系統(tǒng)表信息

3、dfs-ls目錄打開(kāi)系統(tǒng)hdfs上面的文件dfs-lsr/user遞歸算法總是顯示目錄/user下面的目錄文件

4、！linux命令不使用linux命令。

5、source/root/dear.sql執(zhí)行sql文件

hdfs的特點(diǎn)和限制？

HDFS特性

1、海量數(shù)據(jù)存儲(chǔ)：HDFS可橫向擴(kuò)展，其存儲(chǔ)的文件也可以允許PB級(jí)別或更高級(jí)別的數(shù)據(jù)存儲(chǔ)。

2、高容錯(cuò)性：數(shù)據(jù)保存多個(gè)副本，副本丟了后自動(dòng)復(fù)原。可構(gòu)建體系在廉價(jià)的機(jī)器上，基于線性擴(kuò)展。當(dāng)集群增加新節(jié)點(diǎn)之后，namenode也可以感知力，接受負(fù)載均衡，將數(shù)據(jù)全部分和備份數(shù)據(jù)均衡全面到新的節(jié)點(diǎn)上。

3、正式商用硬件：Hadoop卻不是需要運(yùn)行程序在高級(jí)貨且高可靠的硬件上。它是設(shè)計(jì)運(yùn)行程序在商用硬件（便宜貨商業(yè)硬件）的集群上的。（比小型機(jī)，大型機(jī)便宜的東西）

4、大文件存儲(chǔ)：HDFS需要數(shù)據(jù)塊的存儲(chǔ)數(shù)據(jù)，將數(shù)據(jù)物理切四等分多個(gè)小的數(shù)據(jù)塊。因此再大的數(shù)據(jù)，區(qū)域分割后，大數(shù)據(jù)都變成了很多小數(shù)據(jù)。用戶(hù)無(wú)法讀取時(shí)，然后再將多個(gè)小數(shù)據(jù)塊拼接站了起來(lái)。

HDFS缺點(diǎn)

1、肯定不能能夠做到低時(shí)延數(shù)據(jù)訪問(wèn)：由于hadoop因?yàn)楦邤?shù)據(jù)吞吐量做了優(yōu)化，代價(jià)了某些數(shù)據(jù)的服務(wù)器延遲，因?yàn)槭菍?duì)低延時(shí)ftp訪問(wèn)數(shù)據(jù)的業(yè)務(wù)需求不更適合HDFS。

2、不合適大量的小文件存儲(chǔ)：的原因namenode將文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存中，因此該文件系統(tǒng)所能存儲(chǔ)的文件總數(shù)直接限制于namenode的內(nèi)存容量。參照經(jīng)驗(yàn)，每個(gè)文件、目錄和數(shù)據(jù)塊的存儲(chǔ)信息總共占150字節(jié)。而，如果不是有一百萬(wàn)個(gè)小文件，每個(gè)小文件都會(huì)占一個(gè)數(shù)據(jù)塊，那最起碼需要300MB內(nèi)存。如果沒(méi)有是上億級(jí)別的，都會(huì)超出當(dāng)前硬件的能力。

3、改文件：。HDFS適合我四次寫(xiě)入，一次加載的場(chǎng)景。這對(duì)上傳的圖片到HDFS上的文件，不允許改文件。Hadoop2.0雖說(shuō)意見(jiàn)了文件的賞分功能，但不建議您對(duì)HDFS上的文件參與如何修改。是因?yàn)樾实拖?

4、不接受用戶(hù)的并行寫(xiě)：同樣的時(shí)間內(nèi)，只能有一個(gè)用戶(hù)負(fù)責(zé)執(zhí)行寫(xiě)能操作。