apache日志分析工具 apache里的error.log刪不掉?
apache里的error.log刪不掉?刪除Apache2/logs/目錄下的error.log和access.log文件,打開Apache配置文件,找到以下兩個配置錯誤日志logs/error .
apache里的error.log刪不掉?
刪除Apache2/logs/目錄下的error.log和access.log文件,打開Apache配置文件,找到以下兩個配置錯誤日志logs/error . logcustomloglogs/access . log common,直接注釋掉,替換為以下配置文件。#將Apache錯誤日志文件限制為1m| bin/rotate logs . exe-llogs/error-% y-% m-% d . log1m "
#生成錯誤日志文件# Errorlog "| bin/rotate logs . exe-llogs/error-% y-% m-% d . log 86400 "#受限訪問日志文件的大小為1m| bin/rotate logs . exe-llogs/Access-% y-% m-% d . log1m "common #生成一個訪問日志文件| bin/rotate logs . exe-llogs/acc
Apache Mahout如何使用?
Mahout安裝的詳細(xì)全過程1。jdk安裝22。SSH無密碼認(rèn)證配置23。hadoop配置34。Hadop使用65。Maven安裝76。看象人裝置77。Hadoop集群執(zhí)行集群算法88。其他8......................................................................................................
開放 "終端 "然后輸入:sh
1.3.設(shè)置JAVA_HOME環(huán)境系統(tǒng)變量input:VI/etc/environment Add:export JAVA _ HOME/root/JDK 1 . 6 . 0 _ 24 export JRE _ HOME/root/JDK 1 . 6 . 0 _ 24/JRE export class path$class path :$JAVA _ HOME/lib:$JAVA _ HOME/JRE/lib同樣,修改第二個文件。輸入:vi /etc/profile在umask 022前添加以下語句:export Java _ home/root/JDK 1 . 6 . 0 _ 24 export JRE _ home/root/JDK 1 . 6 . 0 _24/jre導(dǎo)出類路徑$ class PATH : $ JAVA _ HOME/lib: $ JAVA _ HOME/JRE/lib導(dǎo)出路徑$ JAVA _ HOME/bin: $ JAVA _ HOME/JRE/bin: $ PATH : $ HOM:、:、Slav:,三個節(jié)點(diǎn)都是CentOS系統(tǒng),Hadoop在/root/hadoop/目錄下。在/etc/hosts上添加主機(jī)名和對應(yīng)的IP地址:192 . 168 . 1 . 10 Master 192 . 168 . 1 . 20 Slave 1192 . 168 . 1 . 21 Slave 23、SSH免密碼認(rèn)證配置2.1 Hadoop需要使用SSH協(xié)議。Namenode將使用SSH協(xié)議啟動namenode和datanode進(jìn)程。偽分布式模式下的數(shù)據(jù)節(jié)點(diǎn)和名稱節(jié)點(diǎn)是它們自己,所以SSH localhost必須在沒有密碼驗(yàn)證的情況下進(jìn)行配置。以root用戶身份登錄并在主目錄中執(zhí)行以下命令:ssh-k:的文件
按回車默認(rèn)路徑創(chuàng)建目錄。創(chuàng)造。
目錄輸入密碼短語(空表示無密碼短語):輸入相同的密碼短語again:您的身份已保存在_
公鑰已保存在_
關(guān)鍵指紋is: C6 : 7 e: 57 : 59 : 0 a: 85 : 49 : 23 : C4 : 58 :
在目錄中生成id_rsa私鑰和id_。
公鑰。進(jìn)入
namenode節(jié)點(diǎn)下的目錄配置如下:[。ssh]#貓id_
授權(quán)密鑰。ssh]# scp授權(quán)_密鑰[
。ssh]# scp授權(quán)_密鑰
配置完成后,您可以測試是否需要通過ssh本地IP進(jìn)行密碼登錄。2.2如同namenode無需密碼登錄所有DataNode的原理,將DataNode的公鑰復(fù)制到Namenode 噓。
在目錄下。[ .ssh]# scp authoriz:/root[root @]# scp authoriz:/root
添加剛剛發(fā)送到authorized _ keys[root @]# cat authorized _ keys 1 authorized _ keys[root @]# cat authorized _ keys 2 authorized _ keys,也可以關(guān)閉和啟動Datanode上的Hadoop服務(wù)。4、Hadoop配置下載hadoop-0.20.2.tar.gz。
,用于減壓。塔爾zxvf hadoop-0.20.2.tar.gz
修改/etc/profile并添加如下:# set Hadoop path export Hadoop _ home/root/Hadoop export path $ Hadoop _ home/bin: $ path 4.1 .進(jìn)入hadoop/conf,配置Hadoop配置文件4.1.1,
文件添加# setjavaenvironment export Java _ home/root/JDK 1 . 6 . 0 _ 24編輯后保存并退出。4.1.2配置core-site . XML # Vi core-site . XML 4 . 1 . 3配置HDFS-site . XML # VIH DFS-site . XML 4 . 1 . 4配置map red-site . XML # viMapred-site . XML 4 . 1 . 5配置masters # Vi masters 192 . 168 . 1 . 104 . 1 . 6配置slaves # Vi slaves 192 . 168 . 1 . 20192 . 168 . 1 . 214 . 2、hadoop啟動4.2.1/Hadoop Namenode。
命令啟動后,可以使用jps命令檢查hadoop進(jìn)程是否完全啟動。正常情況下應(yīng)該有以下進(jìn)程:10910 namenode 11431 JPS 11176二級NameNode 11053 datanode 11254 Job Tracker 11378 TaskTracker。在建設(shè)過程中,這個環(huán)節(jié)出現(xiàn)的問題最多,啟動過程往往不完整。DataNode無常啟動,或者NameNode或Tasktracker啟動異常。解決方法如下:1)關(guān)閉Linux下的防火墻:使用服務(wù)iptables stop命令;2)再次格式化namenode:在/root/hadoop/bin目錄下執(zhí)行hadoop namenode -format命令3)重啟服務(wù)器4)查看datanode或namenode對應(yīng)的日志文件,該文件保存在/root/hadoop/logs目錄下。5)在/bin目錄中再次使用它。
命令啟動所有進(jìn)程,通過以上方法應(yīng)該可以解決進(jìn)程啟動不完整的問題。4.2.3查看集群狀態(tài)是在bin目錄下進(jìn)行的:Hadoop DFS admin-report # Hadoop DFS admin 。m 50070 localhost: 50030 .5.Hadop使用了一個測試示例wordcount:一個計算輸入文本中字?jǐn)?shù)的程序。hadoop主目錄中帶有WordCount的java包hadoop-0.20.2-examples.jar。
,實(shí)現(xiàn)步驟如下:在/root/hadoop/bin/目錄下,進(jìn)行如下操作:。/hadoop fs -mkdir輸入(新目錄名可以任意命名)mkdir/root/a/vi/root/a.txt。
從本地/root/a/input寫hello world hello # Hadoop fs-copy,在/root/hadoop/bin: #下執(zhí)行。Hadoop-0.20.2-examples.jar。
Wordcount輸入輸出(提交一個作業(yè),這里要注意輸入輸出是一組任務(wù),下次執(zhí)行word count程序,新目錄intput1和output1不能和輸入輸出同名)6。Maven安裝6.1,下載Maven解壓tar VxZF Apache-Maven-3 . 0 . 2-bin . tar . gzmv。
Apache-maven-3 . 0 . 2/root/maven 6.2 VI ~
添加以下兩行:export m3 _ home/root/maven export path $ { m3 _ home }/bin: $ { path } 6.3先注銷,然后登錄查看maven版本,看mvn -version7是否安裝成功。參見:
、hadoop集群實(shí)現(xiàn)集群算法8.1數(shù)據(jù)準(zhǔn)備CD/root/Hadoop wget _ control/synthetic _
。/hadoop fs -mkdir testdata。/hadoop fs -put synthetic_
測試數(shù)據(jù)。/Hadoop fs-LSR test data bin/Hadoop jar/root/mahout/mahout-examples-0.4-job . jar
檢查結(jié)果,斌/mahout vector dump-seq file/user/root/output/data/part-r-00000這直接在控制臺上顯示結(jié)果。9.hadoop集群實(shí)現(xiàn)推薦算法分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job . jar。
-Dmapred.output.diroutput2偽分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job . jar。
-推薦者類名
-dmapred . output . dir output _ w10 wan 10,其他離開安全模式:hadoop dfsadmin -safemode離開。