虛擬機里hdfs的默認名稱怎么看 hive默認路徑?
hive默認路徑?Hive設置為存儲路徑:/user/hive/warehouse。但我們也可更改存儲路徑由${HIVE_HOME}/conf/hive-site.xml配置文件的屬性更改,但那樣嚴重
hive默認路徑?
Hive設置為存儲路徑:/user/hive/warehouse。
但我們也可更改存儲路徑由${HIVE_HOME}/conf/hive-site.xml配置文件的屬性更改,但那樣嚴重缺乏靈活性。
Hive接受正在建設表的時候更改,通過Location去更改,該路徑可以是HDFS上的。
hadoop集群為什么必須要奇數(shù)臺?
有可能確定hdfs設置塊復制是3份或zookeeper特別要求3臺以上奇數(shù)臺吧,但偶數(shù)臺是也可以的
hadoop命令及使用方法?
hadoop正確的命令
1、直接關閉安全模式
hadoopdfsadmin-safemodeleave
2、可以修改根目錄的權(quán)限
hadoopfs-chmod-R777/
3、上傳文件
hadoopfs-putwords.txt/user/words.txt
4、某些文件
5、查看文件
hadoopdfs-cat/user/words.txt
6、一欄當前目錄
hadoopdfs-ls/temp202
6、一欄任務的執(zhí)行日志
yarnlogs-applicationId
7、執(zhí)行hadoop默認的demo
hadoopjarjar包路徑功能hadoop存儲的源文件目錄(已未知)hadoop存儲文件的目標路徑(執(zhí)行時自動出現(xiàn)創(chuàng)建家族,沒法已必然)
hadoopjarchats/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jarwordcount/user/words.txt/result1
8、格式化hdfs
倉儲行業(yè)目錄標準?
數(shù)據(jù)倉庫目錄規(guī)范
1.數(shù)據(jù)倉庫的根目錄為/warehouse。除此之外數(shù)據(jù)倉庫負責人,普通用戶沒法創(chuàng)建數(shù)據(jù)庫,也不能在系統(tǒng)默認庫中創(chuàng)建表.
/warehouse的默認權(quán)限值改755,所有者是hadoop(或者數(shù)據(jù)倉庫負責人),那你沒有人能創(chuàng)建數(shù)據(jù)庫,也不能不能在設置成庫中創(chuàng)建表.
2.數(shù)據(jù)倉庫負責人修改數(shù)據(jù)庫之后,也可以未分配給項目組,該項目組可以不在此數(shù)據(jù)庫成立表.
/warehouse/數(shù)據(jù)庫.db的所有者值改項目組.
3.數(shù)據(jù)倉庫負責人創(chuàng)建戰(zhàn)隊數(shù)據(jù)庫之后,不把創(chuàng)建角色表的權(quán)限賣給項目組,而所遺創(chuàng)建表,只不能項目組插到分區(qū).
數(shù)據(jù)倉庫負責人繼續(xù)盡量/warehouse/數(shù)據(jù)庫.db的權(quán)限,項目組不能不能建立起表,數(shù)據(jù)倉庫共同負責人為項目組創(chuàng)建家族表之后,把表處的目錄分得項目組.
4.某些表不能本項目組讀寫和查找.
/warehouse/數(shù)據(jù)庫.db/表名的地方的目錄改為770.
5.某些表只能本項目組的普通用戶讀寫.
/warehouse/數(shù)據(jù)庫.db/表名處的目錄的所有者中改此用戶,因此權(quán)限替換成700.
6.項目組的表,必須其它組的而且用戶再插入數(shù)據(jù).
不使用以下的命令可以不user1對dntest.db的表testp1有寫權(quán)限
hdfsdfs-setfacl-muser:user1:rwx/warehouse/cdntest.db/testp1
7.項目組的表,必須其它組的特別用戶有讀到數(shù)據(jù)的權(quán)限.
hdfsdfs-setfacl-muser:user1:r-x/warehouse/cdntest.db/testp1
8.項目組的表,需要其它組的所有用戶有讀到數(shù)據(jù)的權(quán)限.
hdfsdfs-setfacl-mgroup:group1:r-x/warehouse/cdntest.db/testp1
9.創(chuàng)建角色設置數(shù)據(jù)庫,此數(shù)據(jù)庫所有用戶都有修改表的權(quán)限,但只存放30天.
/warehouse/tmp.db的權(quán)限轉(zhuǎn)成777,另外設置里定時任務掃描該目錄及hive數(shù)據(jù)庫。如果沒有有創(chuàng)建時間將近60天的表,刪掉表及所在的位置目錄。