在linux系統(tǒng)上怎么搭建hadoop開發(fā)環(huán)境？A、基礎(chǔ)環(huán)境1.jdk安裝與配置4.文件目錄B、Hadoop直接安裝與配置1.去下載hadoop軟件2.環(huán)境變量3.hadoop配置C、運(yùn)行Hadoop

在linux系統(tǒng)上怎么搭建hadoop開發(fā)環(huán)境？

A、基礎(chǔ)環(huán)境

1.jdk安裝與配置

4.文件目錄B、Hadoop直接安裝與配置1.去下載hadoop軟件2.環(huán)境變量3.hadoop配置C、運(yùn)行Hadoop1.運(yùn)行hdfs2.運(yùn)行yarnD、測(cè)試3hadoop，這是壘建集群的大題路徑，詳細(xì)的可以再去看看看二斗學(xué)院的視頻，第一部分是講集群搭建的很詳細(xì)

學(xué)習(xí)大數(shù)據(jù)難嗎？

在學(xué)習(xí)之前，是需要考慮的不是難并不難，完全是肯定怎摸把英語(yǔ)學(xué)好的問題。學(xué)習(xí)大數(shù)據(jù)給幾點(diǎn)建議：

1.應(yīng)該手中掌握大數(shù)據(jù)體系的架構(gòu)和原理，諸如：分布式存儲(chǔ)和可以計(jì)算的思想

2.大數(shù)據(jù)框架的體系，諸如：hadoop，spark等等

3.多嘗試著做實(shí)驗(yàn)，也多問問有經(jīng)驗(yàn)的人。

如果能有信心，加上堅(jiān)持，是有可以不把英語(yǔ)學(xué)好。

ubant.04 能裝什么版本hadoop？

大數(shù)據(jù)的版本交扣太塊，都說(shuō)你選老的版本更好一些。但是太老的版本會(huì)不允許新的功能。

所以我可不知道選哪個(gè)的時(shí)候，建議是最好就是中,選擇每個(gè)組件的比較穩(wěn)定版，即“stable”版本。

由于組件的安裝基本都都要去官網(wǎng)可以下載tar.gz的壓縮包，并且在找不到網(wǎng)址后注意了幫一下忙帶有“stable”的文件夾。

如何在windows下安裝hadoop？

先說(shuō)一下要準(zhǔn)備著哪些軟件和信息：

VMware-workstation；

CentOS-6.0-i386-bin-DVD；

eclipse-jee-luna-SR1-win32；

hadoop-0.20.2；

jdk-6u27-linux-i586；

（導(dǎo)致hadoop對(duì)版本的要求較高，大家我還是千萬(wàn)不能輕易更換版本，這里列進(jìn)去的各種軟件都是穩(wěn)定點(diǎn)發(fā)布版，網(wǎng)上容易這個(gè)可以download到的）。

整個(gè)教程分為這樣的5個(gè)部分來(lái)說(shuō)：1）在Windows下安裝好虛擬機(jī)Vmware，并新建一個(gè)虛擬機(jī)裝完centos系統(tǒng)；2）centos下可以設(shè)置ssh服務(wù)無(wú)密碼登錄；3）centos下安裝jdk，并配置環(huán)境變量；4）centos下直接安裝hadoop，并配置文件；5）windows下安裝好jdk和eclipse，并將eclipse與centos下的hadoop連接上。也算這5個(gè)部分每一個(gè)都很重要，尤其是第4）步。下面我們就具體點(diǎn)說(shuō)看看每一腳應(yīng)該怎么做。

Step0:請(qǐng)大家先在windows下剛建一個(gè)普通用戶，用戶名為hadoop，我們所有的軟件全在這個(gè)下面完全安裝，用戶名最好就是就算hadoop，是因?yàn)檫@個(gè)要和后面很多username是一樣的，設(shè)為hadoop比較好記。

1）在Windows下安裝好虛擬機(jī)Vmware，并新建一個(gè)虛擬機(jī)裝上centos系統(tǒng)；

簡(jiǎn)單的方法，去下載VMware-workstation并按裝，這步驟和一般windows下完全安裝軟件的過(guò)程是一樣的的，入門小白也會(huì)比較熟練你的操作，這里就節(jié)省時(shí)間點(diǎn)兒空間給后面最重要的步驟了~

然后，在Vmware的主頁(yè)上新建一個(gè)虛擬機(jī)

一路下一步怎么辦，待到讓你你選系統(tǒng)鏡像路徑，我們你選centos系統(tǒng)映像，如上圖，再點(diǎn)擊第二步。接著，必須你輸入linux的用戶名，這個(gè)比較比較不重要，最好就是填好hadoop，因?yàn)檫@個(gè)名字在后面要應(yīng)用好多次！

后面我還是一路的“下一步”，直到此時(shí)讓你設(shè)置里虛擬機(jī)的內(nèi)存大小，建議為1024M。如上圖。后面就是要選擇和虛擬機(jī)的網(wǎng)絡(luò)類型有關(guān)的設(shè)置了，見意為“可以使用網(wǎng)絡(luò)地址裝換NAT”，如下圖。這半步我當(dāng)時(shí)選擇了自動(dòng)橋接的功能，找了一個(gè)晚上的錯(cuò)誤。。。時(shí)間干脆白花花一片的什么都沒有~~

之后肯定一路的“然后再”，幾乎都是可以使用它我推薦的設(shè)置，我們就是可以剛建一個(gè)centos，等待個(gè)幾分鐘然后把就可以進(jìn)入到centos界面了。注意到那一抹科技藍(lán)，有沒讓你動(dòng)容了呢~~哈哈哈哈，你雖然別走了準(zhǔn)備！

2）centos下設(shè)置里ssh.服務(wù)無(wú)密碼登錄；

在桌面右擊，你選擇openinTerminal，這個(gè)那是linux的終端了。希望讀者有一些linux操作系統(tǒng)的基礎(chǔ)，這樣子練熟快的一些。只不過(guò)要是沒有的話，也沒有關(guān)系，我們是走向新手的教程。

2.1.先在linux命令行中輸入su，提示密碼，再輸入你自己設(shè)置的密碼，這樣子你后面的操作都具高了linux系統(tǒng)下的高了權(quán)限——root權(quán)限。

2.2.在系統(tǒng)設(shè)置ssh無(wú)密碼登錄之前，有一個(gè)最重要的重要的是的要先出好：關(guān)掉SELinux。這是因?yàn)閏entos會(huì)自動(dòng)啟動(dòng)攔阻你直接修改sshservice，我們只有一關(guān)閉SELinux，重啟才能生效。如何做，:：

修改/etc/selinux/config文件

將SELINUXenforcing轉(zhuǎn)成SELINUXdisabled

關(guān)機(jī)重啟機(jī)器即可

（note：在linux下修改文件，vi新的命令后會(huì)剛剛進(jìn)入到文件窗口，按i剛剛進(jìn)入upsert，改完畢后之后再按esc會(huì)推出upsert，鍵入；:wq!保存并逃離~這里要感激泡哥，改了半天都不行，肯定泡哥指點(diǎn)方向了~~）

2.3.在linux命令行里然后輸入：ssh-keygen-trsa，然后一路回車。

:~$ssh-keygen-trsa

Generatingpublic/privatersakeypair.

Enterfileinwhichtosavethekey(_rsa)://密鑰保存位置，就回車達(dá)到設(shè)置成；

Enterpassphrase(emptyfornopassphrase)://系統(tǒng)設(shè)置密鑰的密碼，空密碼然后回車再試一下；

Entersamepassp。

然后進(jìn)入到下面，會(huì)看見兩個(gè)文件id_，id_rsa，

然后把不能執(zhí)行cpid__keys

接著sshlocalhost驗(yàn)證是否成功了，上次要你鍵入yep，以后就不是需要了。

如下圖，由于我又驗(yàn)證驗(yàn)證了一次，因此還是需要然后輸入y，假如你是第一次驗(yàn)證是不要的。

到此，ssh服務(wù)吧無(wú)密碼登錄設(shè)置完畢！

3）centos下安裝jdk，并配置環(huán)境變量；

這三步中也可以分為兩步：安裝jdk、配置jdk環(huán)境變量。

3.1.準(zhǔn)備：root用戶登陸，不使用命令mkdir/usr/program新建任務(wù)目錄/usr/program,下載JDK安裝包，將其不能復(fù)制到目錄/usr/program下，用cd命令直接進(jìn)入該目錄，先執(zhí)行命令“”，新的命令運(yùn)行完畢即安裝結(jié)束，將在目錄下生成文件夾/jdk1.6.0_13，此即為jdk被成功了安裝到目錄：/usr/program/jdk1.6.0_13下。

用戶登陸后，命令行中負(fù)責(zé)執(zhí)行命令“vi/etc/profile”,并組建以上內(nèi)容，配置環(huán)境變量(注意一點(diǎn)/etc/profile這個(gè)文件很重要，后面Hadoop的配置還會(huì)都用到)。

#setjavaenvironment

exportJAVA_HOME/usr/program/jdk1.6.0_27

exportJRE_HOME/usr/program/jdk1.6.0_27/jre

exportCLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

在vi編輯器增加以下內(nèi)容后能保存再次，并負(fù)責(zé)執(zhí)行100元以內(nèi)命令使配置不生效！

#chmodx/etc/profile；增強(qiáng)負(fù)責(zé)執(zhí)行權(quán)限

#source/etc/profile；使配置不生效！

配置后后，在命令行中再輸入：java-version，都會(huì)出現(xiàn)按裝jdk的信息。

這時(shí)，jdk的安裝和配置環(huán)境變量就成功了~