Apache Mahout如何使用？Mahout安裝好祥細(xì)全過程1、jdk按裝22、SSH無密碼驗(yàn)證配置好不好23、Hadoop配置好不好34、Hadop可以使用65、Maven直接安裝76、安裝lu

Apache Mahout如何使用？

Mahout安裝好祥細(xì)全過程1、jdk按裝22、SSH無密碼驗(yàn)證配置好不好23、Hadoop配置好不好34、Hadop可以使用65、Maven直接安裝76、安裝lucene77、hadoop集群來執(zhí)行聚類算法88、其他8――――――――――――――――――――1、jdk安裝1.1、到官網(wǎng)下載相關(guān)的JDK下載地址：

、再打開“終端”鍵入：sh

1.3、可以設(shè)置JAVA_HOME環(huán)境系統(tǒng)變量輸入：vi/etc/environment在文件中先添加：exportJAVA_HOME/root/jdk1.6.0_24exportJRE_Home/root/jdk1.6.0_24/jreexportCLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib同樣，如何修改第二個(gè)文件。鍵入：vi/etc/profile在umask022之前去添加以上語句：exportJAVA_HOME/root/jdk1.6.0_24exportJRE_Home/root/jdk1.6.0_24/jreexportCLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin1.4、自動(dòng)注銷用戶，可以檢測(cè)JDK版本。鍵入：java-version2、集群環(huán)境詳細(xì)介紹集群包含三個(gè)節(jié)點(diǎn)：1個(gè)namenode，2個(gè)datanode，節(jié)點(diǎn)之間局域網(wǎng)連接到，可以相互之間ping不通通。節(jié)點(diǎn)IP 地址分布的位置如下：Namenode:::三臺(tái)節(jié)點(diǎn)上均是CentOS系統(tǒng)，Hadoop在/root/hadoop/目錄下。在/etc/hosts上直接添加主機(jī)名和或者的IP地址：192.168.1.10master192.168.1.20slave1192.168.1.21slave23、SSH無密碼驗(yàn)證配置如何2.1Hadoop要建議使用SSH協(xié)議，namenode將使用SSH協(xié)議啟動(dòng)時(shí)namenode和datanode進(jìn)程，偽分布式模式數(shù)據(jù)節(jié)點(diǎn)和名稱節(jié)點(diǎn)均是本身，前提是配置SSHlocalhost無密碼驗(yàn)正。用root用戶登錄，在家里目錄下負(fù)責(zé)執(zhí)行追加命令：ssh-keygen-trsa[~]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enter

fileinwhichneedsavethe key(_rsa):

按回車設(shè)置路徑Createddirectory.創(chuàng)建家族

目錄Enterpassphrase(emptyofnopassphrase):Entersamepassphraseagain:Youridentificationhas beensavedoutside_

publickeyhas beensavedin_

keyfingerprintisn't:c6:7e:57:59:0a:2d:85:49:23:cc:c4:58:ff:db:5b:38是從以上命令將在

目錄下生成id_rsa私鑰和id_

公鑰。剛剛進(jìn)入

目錄在namenode節(jié)點(diǎn)下做:配置：[.ssh]#catid_

authorized_keys[.ssh]#scpauthorized_keys[

.ssh]#scpauthorized_keys

配置完畢后，可本機(jī)IP測(cè)試出來如何確定不需要密碼登錄。2.2和namenode無密碼登錄所有Datanode原理一樣的，把Datanode的公鑰復(fù)制到Namenode的.ssh

目錄下。[.ssh]#scpauthorized_keys1192.168.1.10:/root[root@]#scpauthorized_keys2192.168.1.10:/root

將剛傳過去的authorized_keys1、2加入到authorized_keys[root@]#catauthorized_keys1authorized_keys[root@]#catauthorized_keys2authorized_keys這樣的話也能在Datanode上關(guān)掉和正常啟動(dòng)Hadoop服務(wù)。4、Hadoop配置直接下載hadoop-0.20.2.tar.gz

，接受解壓縮。tarzxvfhadoop-0.20.2.tar.gz

修改/etc/profile，一并加入不勝感激：#sethadooppathexportHADOOP_HOME/root/hadoopexportPATH$HADOOP_HOME/bin:$PATH4.1、進(jìn)入hadoop/conf，配置Hadoop配置文件4.1.1配置

文件添加#setjavaenvironmentexportJAVA_HOME/root/jdk1.6.0_24編輯后需要保存退出。4.1.2配置core-site.xml#vicore-site.xml4.1.3配置hdfs-site.xml#vihdfs-site.xml4.1.4配置mapred-site.xml#vimapred-site.xml4.1.5配置masters#vimasters192.168.1.104.1.6配置slaves#vislaves192.168.1.20192.168.1.214.2、Hadoop啟動(dòng)時(shí)4.2.1進(jìn)入/root/hadoop/bin目錄下，格式話namenode#./hadoopnamenodeCformat4.2.2起動(dòng)hadoop所有進(jìn)程在/root/hadoop/bin目錄下，不能執(zhí)行

下達(dá)命令啟動(dòng)能夠完成后，可用jps命令打開系統(tǒng)hadoop進(jìn)程如何確定啟動(dòng)時(shí)完全。正常情況下應(yīng)該是有如下進(jìn)程：10910NameNode11431Jps11176SecondaryNameNode11053DataNode11254JobTracker11378TaskTracker我在堆建過程中，在此環(huán)節(jié)出現(xiàn)的問題最少，每天都出現(xiàn)啟動(dòng)時(shí)進(jìn)程不求下載的情況，要不是datanode沒能正常起動(dòng)，就是namenode如果沒有TaskTracker啟動(dòng)時(shí)無比。解決的辦法的）在Linux下關(guān)了防火墻：建議使用serviceiptablesstop命令；2）再次對(duì)namenode接受重新格式化：在/root/hadoop/bin目錄下執(zhí)行hadoopnamenode-format命令3）對(duì)服務(wù)器通過重啟后4）查看datanode或是namenode填寫的日志文件，日志文件保存在/root/hadoop/logs目錄下。5）再度在/bin目錄下用

下命令正常啟動(dòng)所有進(jìn)程，按照以上的幾個(gè)方法肯定能可以解決進(jìn)程啟動(dòng)不全部的問題了。4.2.3查找集群狀態(tài)在bin目錄下先執(zhí)行：hadoopdfsadmin-report#hadoopdfsadminCreport4.3在WEB頁面下欄里點(diǎn)Hadoop工作情況然后打開IE瀏覽器輸入輸入防御部署Hadoop服務(wù)器的IP：:50070:50030。5、Hadop建議使用一個(gè)測(cè)試?yán)觲ordcount：計(jì)算再輸入文本中詞語數(shù)量的程序。WordCount在Hadoop主目錄下的java程序包hadoop-0.20.2-examples.jar

中，先執(zhí)行步驟如下：在/root/hadoop/bin/目錄下參與不勝感激能操作：./hadoopfs-mkdirinput(空白文檔目錄名稱，可任意命名)mkdir/root/a/vi/root/a/a.txt

寫入文件hello worldhello#hadoopfs-copyFromLocal/root/a/inputs在/root/hadoop/bin下先執(zhí)行：#./hadoopjarhadoop-0.20.2-examples.jar

wordcountinputinput(提交作業(yè)，此處需盡量input與output是一組任務(wù)，下次先再不能執(zhí)行wordcount程序，的要?jiǎng)偨夸沬ntput1與parameters1又不能跟input與output重名)6、Maven直接安裝6.1直接下載Maven解壓tarvxzfapache-maven-3.0.2-bin.tar.gzmv

apache-maven-3.0.2/root/maven6.2vi~

直接添加追加兩行exportM3_HOME/root/mavenexportPATH${M3_HOME}/bin:${PATH}6.3先changepassword，之后再logout欄里點(diǎn)maven版本，看是否是安裝好成功mvn-version7、安裝mahout安裝方法見：

、hadoop集群來想執(zhí)行聚類算法8.1數(shù)據(jù)準(zhǔn)備cd/root/

./hadoopfs-mkdirtestdata./hadoopfs-throwingsynthetic_

testdata./hadoopfs-lsrtestdatabin/hadoopjar/root/mahout/mahout-examples-0.4-job.jar

一欄再看看結(jié)果吧bin/hadoopvectordump--seqFile/user/root/output/data/memories-r-00000這個(gè)再把結(jié)果不顯示在控制臺(tái)上。9、hadoop集群來想執(zhí)行推薦算法分布式bin/hadoopjar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job.jar

-Dmapred.output.diroutput2偽分布式bin/hadoopjar/root/trunk/mahout-distribution-0.4/mahout-core-0.4-job.jar

--recommenderClassName

-Dmapred.output.diroutput_w10wan10、其他趕回安全模式：hadoopdfsadmin-safemodeleave

新手如何學(xué)習(xí)Java？

另外一名從業(yè)多年來的Java程序員，而也出版書過Java編程書籍，因?yàn)槲襾韱枎鸵幌旅@個(gè)問題。

對(duì)于新手來說，要想才能學(xué)好Java，應(yīng)該要注重實(shí)際以上幾個(gè)方面：

第一：對(duì)的理解Java的各種“抽象”。學(xué)Java是學(xué)習(xí)各種“抽象”，除開類、接口和抽象類等，完全不同層次的抽象意味著什么完全不同的作用。對(duì)于初學(xué)者來說，要想對(duì)的的掌握各種抽象，應(yīng)該是從都差不多的Java編程過程結(jié)束，包括類的設(shè)計(jì)、對(duì)象的創(chuàng)建角色和方法的調(diào)用，至于要重點(diǎn)自學(xué)一下多態(tài)的使用。多做實(shí)驗(yàn)是再理解各種抽象的好辦法，而且實(shí)驗(yàn)并不一定能夠?yàn)槌鯇W(xué)者建立起概念的“畫面”，最大限度地后期再理解。

第二：特別注重知識(shí)結(jié)構(gòu)的全面性。自學(xué)Java開發(fā)的過程中要系統(tǒng)地去學(xué)習(xí)看看操作系統(tǒng)、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)結(jié)構(gòu)、算法設(shè)計(jì)和數(shù)據(jù)庫知識(shí)，這些計(jì)算機(jī)基礎(chǔ)內(nèi)容相對(duì)于學(xué)習(xí)Java更具最重要的意義，如果沒有想在Java開發(fā)領(lǐng)域走得很遠(yuǎn)，要先注重基礎(chǔ)知識(shí)的學(xué)習(xí)。在學(xué)期間建議建議使用Linux操作系統(tǒng)積極開展實(shí)驗(yàn)，未來很多Java開發(fā)都離得開Linux操作系統(tǒng)，比如大數(shù)據(jù)治理開發(fā)、物聯(lián)網(wǎng)平臺(tái)開發(fā)等。

第三：確定一個(gè)主攻方向。Java目前通常的應(yīng)用領(lǐng)域除了Web開發(fā)、Android開發(fā)和大數(shù)據(jù)開發(fā)，不少網(wǎng)絡(luò)服務(wù)也是需要需要Java成功后端功能的c語言程序，另外Java確實(shí)是研發(fā)級(jí)程序員的比較普遍工具，比較復(fù)雜到一些平臺(tái)和容器的開發(fā)，諸如大數(shù)據(jù)平臺(tái)Hadoop那是區(qū)分Java語言編寫的。對(duì)此Java初學(xué)者來說，要根據(jù)自身的知識(shí)結(jié)構(gòu)和興趣愛好，選擇一個(gè)比較適合自己的主攻方向。

到最后，在當(dāng)前的大數(shù)據(jù)、云計(jì)算時(shí)代背景下，Java全棧程序員的崗位需求量也很大，因此去學(xué)習(xí)Java全棧開發(fā)都是另一個(gè)比較好的選擇。Java全棧開發(fā)需要重視看看前端開發(fā)技術(shù)的學(xué)習(xí)，重點(diǎn)是JavaScript語言的學(xué)習(xí)。

我普通機(jī)電設(shè)備互聯(lián)網(wǎng)行業(yè)二十年，目前也在帶計(jì)算機(jī)專業(yè)的研究生，要注意的研究方向聚集在大數(shù)據(jù)和人工智能領(lǐng)域，我會(huì)大批寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章，感興趣朋友可以打聽一下我，完全相信肯定會(huì)會(huì)收獲。

如果有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題，的或是考研方面的問題，都也可以在評(píng)論區(qū)給我留言！