map和reduce任務(wù)數(shù)量分別是 如何使用hivesever2的日志?
如何使用hivesever2的日志?日志記錄程序運(yùn)行的過(guò)程,是查找問(wèn)題的利器。蜂箱中有兩種日志1。系統(tǒng)日志,記錄配置單元的運(yùn)行狀態(tài)和錯(cuò)誤狀態(tài)。2. 作業(yè)日志,記錄配置單元中作業(yè)執(zhí)行的歷史過(guò)程。系統(tǒng)日志
如何使用hivesever2的日志?
日志記錄程序運(yùn)行的過(guò)程,是查找問(wèn)題的利器。
蜂箱中有兩種日志
1。系統(tǒng)日志,記錄配置單元的運(yùn)行狀態(tài)和錯(cuò)誤狀態(tài)。
2. 作業(yè)日志,記錄配置單元中作業(yè)執(zhí)行的歷史過(guò)程。
系統(tǒng)日志存儲(chǔ)在哪里?
配置單元日志的存儲(chǔ)條件記錄在hive/conf/hive-log4j.properties文件中,
默認(rèn)存儲(chǔ)條件:hive.root.logger=警告,博士hive.log.dir=/tmp/${ 用戶名}默認(rèn)存儲(chǔ)位置hive.log.file=配置單元. log#默認(rèn)文件名
作業(yè)日志存儲(chǔ)在哪里?
//配置單元運(yùn)行時(shí)結(jié)構(gòu)化日志文件的位置
HIVEHISTORYFILELOC(“配置單元查詢位置“,”/tmp/”系統(tǒng).getProperty(" 用戶名“”,
默認(rèn)存儲(chǔ)和/tmp/{用戶名}在目錄下。
jdbc連接hiveserver2依賴哪些包?
hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
$HIVEuhome/lib/HIVE-exec-0.11.0.jar
$HIVEuhome/lib/HIVE-jdbc-0.11.jar
$HIVEuhome/lib/HIVE-metastore-0.11.0.jar
$HIVEHOME/lib/HIVE-service-0.11.0.jar
$HIVEuhome/lib/libfb303-0.9.0.jar
$HIVEHOME/lib/commons-logging-1.0.4.jar
$HIVEuHome/lib/slf4j-api-1.6.1。罐子
1。需要安裝Bing、bingchroot和caching nameserver三個(gè)包。2編輯配置文件:有三(1)個(gè)主要配置文件,分別是/var/named/chroot/etc/命名.conf在這里您需要配置DNS IP、偵聽(tīng)端口、區(qū)域文件目錄,并允許其他主機(jī)使用DNS服務(wù)和緩存。最后,需要定義正向解析區(qū)域和反向解析區(qū)域,并指定正向區(qū)域文件和反向區(qū)域文件的名稱。(2) 兩個(gè)區(qū)域文件。文件名由您定義,并且必須與主配置文件中的文件名相同。區(qū)域文件將放在/var/named/chroot/var/named/目錄中,其中有模板。直接復(fù)制。三。重新啟動(dòng)服務(wù)。重啟服務(wù)失敗一般是配置文件錯(cuò)誤,而DNS服務(wù)是一項(xiàng)比較難學(xué)的服務(wù),所以建議大家在網(wǎng)上查找更詳細(xì)的信息。這就像是對(duì)配置文件的詳細(xì)解釋。了解配置文件中每個(gè)參數(shù)設(shè)置的含義。1HBase:基于Hadoop數(shù)據(jù)庫(kù),是NoSQL數(shù)據(jù)庫(kù);HBase表是物理表,適合存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。
2. Hive:它不存儲(chǔ)數(shù)據(jù),而是依賴HDFS和MapReduce,通過(guò)SQL計(jì)算和處理HDFS上的結(jié)構(gòu)化數(shù)據(jù);Hive中的表是純邏輯表。
這兩者通常一起使用。
1. HBase:實(shí)時(shí)隨機(jī)查詢海量詳細(xì)數(shù)據(jù),存儲(chǔ)采集到的web數(shù)據(jù);
2。配置單元:適用于離線批量數(shù)據(jù)計(jì)算,一般用于查詢分析和統(tǒng)計(jì)。