Apache Mahout如何使用？Mahout安裝的詳細(xì)全過程1。jdk安裝22。SSH無密碼認(rèn)證配置23。hadoop配置34。Hadop使用65。Maven安裝76?？聪笕搜b置77。Hadoop

Apache Mahout如何使用？

Mahout安裝的詳細(xì)全過程1。jdk安裝22。SSH無密碼認(rèn)證配置23。hadoop配置34。Hadop使用65。Maven安裝76。看象人裝置77。Hadoop集群執(zhí)行集群算法88。其他8......................................................................................................

開放 "終端 "然后輸入:sh

1.3.設(shè)置JAVA_HOME環(huán)境系統(tǒng)變量input:VI/etc/environment Add:export JAVA _ HOME/root/JDK 1 . 6 . 0 _ 24 export JRE _ HOME/root/JDK 1 . 6 . 0 _ 24/JRE export class path＄class path :＄JAVA _ HOM:＄JAVA _ HOME/JRE/lib同樣，修改第二個(gè)文件。輸入:vi /etc/profile在umask 022前添加以下語句:export JAVA _ HOME/root/JDK 1 . 6 . 0 _ 24 export JRE _ HOME/root/JDK 1 . 6 . 0 _ 24/JRE導(dǎo)出類路徑$ class PATH : $ JAVA _ HOM: $ JAVA _ HOM: $ JAVA _ HOM: $ PATH echo 11輸入:Java-版本2。集群環(huán)境簡介集群由三個(gè)節(jié)點(diǎn)組成:一個(gè)nam:、:、Slav:，三個(gè)節(jié)點(diǎn)都是CentOS系統(tǒng)，Hadoop在/root/hadoop/目錄下。在/etc/hosts上添加主機(jī)名和對(duì)應(yīng)的IP地址:192 . 168 . 1 . 10 master 192 . 168 . 1 . 20 slave 1192.16。8.1.21 slave23、SSH免密碼認(rèn)證配置2.1 Hadoop需要使用SSH協(xié)議，namenode會(huì)使用SSH協(xié)議啟動(dòng)namenode和datanode進(jìn)程，偽分布式的數(shù)據(jù)節(jié)點(diǎn)和名稱節(jié)點(diǎn)都是自己，所以必須配置SSH localhost免密碼認(rèn)證。以root用戶身份登錄并在主目錄中執(zhí)行以下命令:ssh-k:的文件

按回車默認(rèn)路徑創(chuàng)建目錄。創(chuàng)造。

目錄輸入密碼短語(空表示無密碼短語):輸入相同的密碼短語again:您的身份已保存在_

公鑰已保存在_

鍵指紋is: C6 : 7 : 57 : 59 : 0 a: 85 : 49 : 23 : cc: 4c echo 29-@

在目錄中生成id_rsa私鑰和id_。

公鑰。進(jìn)入

namenode節(jié)點(diǎn)下的目錄配置如下:[。ssh]#貓id_

授權(quán)密鑰。ssh]# scp授權(quán)_密鑰[

。ssh]# scp授權(quán)_密鑰

配置完成后，您可以測(cè)試是否需要通過ssh本地IP進(jìn)行密碼登錄。2.2將Datanode的公鑰復(fù)制到Name，就像namenode登錄所有Datanode不需要密碼的原理一樣。節(jié)點(diǎn) s .宋承憲

在目錄下。[ .ssh]# scp authoriz:/root[root @]# scp authoriz:/root

添加剛剛發(fā)送到authorized _ keys[root @]# cat authorized _ keys 1 authorized _ keys[root @]# cat authorized _ keys 2 authorized _ keys，也可以關(guān)閉和啟動(dòng)Datanode上的Hadoop服務(wù)。4、Hadoop配置下載hadoop-0.20.2.tar.gz。

，用于減壓。塔爾zxvf hadoop-0.20.2.tar.gz

修改/etc/profil: $ path 4.1 .進(jìn)入hadoop/conf，配置Hadoop配置文件4.1.1，

將# setjavaenvironment export Java _ home/root/JDK 1 . 6 . 0 _ 24添加到文件中，保存并退出。4.1.2配置core-site . XML # Vi core-site . XML 4 . 1 . 3配置HDFS-site . XML # VIH DFS-site . XML 4 . 1 . 4配置map red-site . XML # viMapred-site . XML 4 . 1 . 5配置masters # Vi masters 192 . 168 . 1 . 104 . 1 . 6配置slaves # Vi slaves 192 . 168 . 1 . 20192 . 168 . 1 . 214 . 2、hadoop啟動(dòng)4.2.1/Hadoop Namenode。

命令啟動(dòng)后，可以使用jps命令檢查hadoop進(jìn)程是否完全啟動(dòng)。正常情況下應(yīng)該有以下進(jìn)程:10910 NameNode11431 Jps11176。二級(jí)NameNode 11053 datanode 11254 Job Tracker 11378 TaskTracker在構(gòu)建的過程中，這個(gè)環(huán)節(jié)的問題最多，啟動(dòng)過程往往不完整。DataNode可以 t正常啟動(dòng)，或者NameNode或Tasktracker異常啟動(dòng)。解決方法如下:1)關(guān)閉Linux下的防火墻:使用服務(wù)iptables stop命令；2)再次格式化namenode:在/root/hadoop/bin目錄下執(zhí)行hadoop namenode -format命令3)重啟服務(wù)器4)查看datanode或namenode對(duì)應(yīng)的日志文件，該文件保存在/root/hadoop/logs目錄下。5)在/bin目錄中再次使用它。

命令啟動(dòng)所有進(jìn)程，通過以上方法應(yīng)該可以解決進(jìn)程啟動(dòng)不完整的問題。4.2.3查看集群狀態(tài)在bin目錄中執(zhí)行:Hadoop DFS admin-report # Hadoop DFS admin cr: 50070 : 50030 . 5。Hadop使用了一個(gè)測(cè)試示例wordcount:一個(gè)計(jì)算輸入文本中字?jǐn)?shù)的程序。hadoop主目錄中帶有WordCount的java包hadoop-0.20.2-examples.jar。

，實(shí)現(xiàn)步驟如下:在/root/hadoop/bin/目錄下，進(jìn)行如下操作:。/hadoop fs -mkdir輸入(新目錄名可以任意命名)mkdir/root/a/vi/root/a.txt。

從本地/root/a/input寫hello world hello # Hadoop fs-copy，在/root/hadoop/bin: #下執(zhí)行。Hadoop-0.20.2-examples.jar。

Wordcount輸入輸出(提交作業(yè)，這里需要注意的是，輸入輸出是一組任務(wù)，下次會(huì)執(zhí)行word count程序，新目錄intput1和output1不會(huì)跟來。輸入和輸出同名)6。Maven安裝6.1，下載Maven解壓tar vxzf Apache-Maven-3 . 0 . 2-bin . tar . gzmv。

Apach: $ { path } 6.3先注銷，然后登錄查看maven版本，看mvn -version7是否安裝成功。參見:

、hadoop集群實(shí)現(xiàn)集群算法8.1數(shù)據(jù)準(zhǔn)備CD/root/Hadoop wg _ control/synthetic _

。/hadoop fs -mkdir testdata。/hadoop fs -put synthetic_

測(cè)試數(shù)據(jù)。/Hadoop fs-LSR test data bin/Hadoop jar/root/mahout/mahout-examples-0.4-job . jar

檢查結(jié)果，bin/mahout vector dump-seq file/user/root/output/data/part-r-00000，并將結(jié)果直接顯示在控制臺(tái)上。9.hadoop集群實(shí)現(xiàn)推薦算法分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job . jar。

-Dmapred.output.diroutput2偽分布式bin/Hadoop jar/root/trunk/mahout-distribution-0.4/mahout-cor

hadoop的web管理界面打不開怎么辦？

是的，你只能進(jìn)入路由器的網(wǎng)關(guān)。貓連上后直接設(shè)置撥號(hào)連接就行了。

連接路由器就是先把線連接到貓身上，然后貓拔出網(wǎng)線連接到路由器上的端口。該端口與其他的有點(diǎn)不一樣。插座的顏色要不一樣。收到后又有另外四個(gè)借口連接每臺(tái)電腦的網(wǎng)卡，然后隨便打開一臺(tái)用網(wǎng)線連接的電腦，打開IE，輸入192.168.1.1，然后輸入密碼admindamin就可以進(jìn)去了。