學習大數(shù)據(jù)難嗎？在學習之前，首先判斷的并非難并不難，完全是估計怎么學好的問題。學習大數(shù)據(jù)給幾點建議：1.上重點手中掌握大數(shù)據(jù)體系的架構和原理，比如說：分布式存儲和換算的思想2.大數(shù)據(jù)框架的體系，.例如

學習大數(shù)據(jù)難嗎？

在學習之前，首先判斷的并非難并不難，完全是估計怎么學好的問題。學習大數(shù)據(jù)給幾點建議：

1.上重點手中掌握大數(shù)據(jù)體系的架構和原理，比如說：分布式存儲和換算的思想

2.大數(shù)據(jù)框架的體系，.例如：hadoop，spark等等

3.多動手做實驗，也多問問看有經(jīng)驗的人。

如果有信心，另外要堅持，是有這個可以把英語學好。

kettle 8導出數(shù)據(jù)Hadoop File Output上傳到集群比較慢？

Kettle有個hdfs插件就可以再用，不過要再注意你的hadoop集群版本和kettle中hadoop查找jar包要一致。

怎么用sqoop把hive的數(shù)據(jù)導入mysql？

運行環(huán)境centos5.6hadoophive

sqoop是讓hadoop技術支持的clouder公司的新的一個在關系數(shù)據(jù)庫和hdfs,hive之間數(shù)據(jù)導入的一個工具。

上海尚學堂hadoop大數(shù)據(jù)培訓組原創(chuàng)，陸陸續(xù)續(xù)有hadoop大數(shù)據(jù)技術干貨文章奉上，請多參與！

在建議使用過程中可能遇到的問題：

sqoop依戀zookeeper，所以要配置ZOOKEEPER_HOME到環(huán)境變量中。

sqoop-1.2.0-CDH3B4依賴hadoop-core-0.20.2-CDH3B4.jar，所以我你是需要上網(wǎng)下載hadoop-0.20.2-CDH3B4.tar.gz，解壓后將hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar不能復制到sqoop-1.2.0-CDH3B4/lib中。

1首先按裝sqoop,如果你可以使用的是clouder清點版的話就更加很簡單

#yuminstallsqoop

如果不是用官方版本的話

#cd

#wget

#yum-yinstallsqoop

sqoop都會直接安裝能夠完成

2使用sqoop

是需要將mysql-connector-java-5.1.16-bin.jar文件截圖到/usr/lib/sqoop/lib文件夾下

3導出功能數(shù)據(jù)庫

1)列一mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫命令

#sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456

2)連接上mysql并列出來數(shù)據(jù)庫中的表命令

#sqooplist-tables--connectjdbc:mysql://localhost:3306/test--usernameroot--password123456

命令中的test為mysql數(shù)據(jù)庫中的test數(shù)據(jù)庫名稱usernamepassword各為mysql數(shù)據(jù)庫的用戶密碼

3)將關系型數(shù)據(jù)的表結構剪切粘貼到hive中

sqoopcreate-hive-table--connectjdbc:mysql://localhost:3306/test--tableusername--usernameroot--password123456--hive-tabletest

其中--tableusername為mysql中的數(shù)據(jù)庫test中的表--hive-tabletest為hive中剛建的表名稱

4)從關系數(shù)據(jù)庫文件導入文件到hive中

sqoopimport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordmysql-password--tablet1--hive-import

5)將hive中的表數(shù)據(jù)導入到mysql中

./sqoopexport--connectjdbc:mysql://localhost:3306/test--usernameroot--passwordadmin--tableuv_info--export-dir/user/hive/warehouse/uv/dt2011-08-03

如果報錯

11/08/0510:51:22INFORunningjob:job_201108051007_0010

11/08/0510:51:23INFOmap0%reduce0%

11/08/0510:51:36INFOTaskId:attempt_201108051007_0010_m_000000_0,Status:FAILED

tojava.util.AbstractList$()

arriveuv_info.__loadFromFields(uv_)

asuv_(uv_)

on()

at()

arrive()

on()

to()

to()

as$()

arrive(Native Method)

at()

as()

at()

此出現(xiàn)錯誤的原因為sqoop解析文件的字段與MySql數(shù)據(jù)庫的表的字段填寫不上照成的。但需要在負責執(zhí)行的時候給sqoop提升參數(shù)，告知sqoop文件的分隔符，使它還能夠正確的解析文件字段。

hive系統(tǒng)默認的字段分隔符為