怎么用sqoop把hive的數(shù)據(jù)導入mysql？運行環(huán)境centos 5.6 hadoop hiveSqoop是clouder公司在hadoop技術支持下開發(fā)的工具，用于在關系數(shù)據(jù)庫和HDFS、Hiv

怎么用sqoop把hive的數(shù)據(jù)導入mysql？

運行環(huán)境centos 5.6 hadoop hive

Sqoop是clouder公司在hadoop技術支持下開發(fā)的工具，用于在關系數(shù)據(jù)庫和HDFS、Hive之間導入導出數(shù)據(jù)。

上海尚學堂hadoop大數(shù)據(jù)培訓群原創(chuàng)，hadoop大數(shù)據(jù)技術相關文章陸續(xù)呈現(xiàn)，敬請關注！

使用過程中可能遇到的問題:

Sqoop依賴于zookeeper，所以ZOOKEEPER_HOME必須配置到環(huán)境變量中。

Sqoop-1.2.0-CDH3B4依賴于hadoop-core-0.20.2-CDH3B4.jar，所以需要下載hadoop-0.20.2-CDH3B4.tar.gz，解壓后復制Hadoop-0 . 20 . 2-cdh3b 4/Hadoop-Core-0 . 20 . 2-cdh3b 4 . jar到Sqoop。

1首先安裝sqoop，如果使用clouder發(fā)行版的話非常簡單。

# yum安裝sqoop

如果用官方版本的話。

# cd

# wget

# yum -y安裝sqoop

將安裝Sqoop。

2使用sqoop

首先，將MySQL-connector-Java-5 . 1 . 16-bin . jar文件復制到文件夾/usr/lib/sqoop/lib中。

3導入和導出數(shù)據(jù)庫

1)列出mysql數(shù)據(jù)庫中的所有數(shù)據(jù)庫命令。

# sq OOP list-databases-connect JDBC :mysql://localhost: 3306/-用戶名root -密碼123456

2)連接mysql，列出數(shù)據(jù)庫中的表命令。

# sq OOP list-tables-connect JDBC :mysql://localhost: 3306/test-username root-password 123456

命令中的Test是mysql數(shù)據(jù)庫中的測試數(shù)據(jù)庫名，username password分別是mysql數(shù)據(jù)庫的用戶密碼。

3)將關系數(shù)據(jù)的表結構復制到hive中

sqoop創(chuàng)建配置單元表-連接JDBC :mysql://localhost: 3306/test-table用戶名-用戶名root -密碼123456 - hive-table測試

其中-tableusername是mysql中數(shù)據(jù)庫測試的表-hive-tabletest是hive中新創(chuàng)建的表的名稱。

4)將文件從關系數(shù)據(jù)庫導入hive。

sqoop import-connect JDBC :mysql://localhost: 3306/test-username root-password MySQL-password-table t1-hive-import

5)將hive中的表格數(shù)據(jù)導入mysql。

。/sqoop export-connect JDBC :mysql://localhost: 3306/test-username root-password admin-table uv _ info-export-dir/user/hive/warehouse/uv/dt 2011-08-03

如果您報告了一個錯誤，

11/08/05 10 : 51 : 22信息運行job: job _ 201108051007 _ 0010

11/08/05 10 : 51 : 23信息地圖0%減少0%

11/08/05 10 : 51 : 36信息任務Id :嘗試_201108051007_0010_m_000000_0，狀態(tài):失敗

位于java.util.AbstractList$()

在uv_info。__loadFromFi

學習大數(shù)據(jù)難嗎？

在學習之前，首先要考慮的不是難度，而是如何學好。學習大數(shù)據(jù)的一些建議:

1.重點介紹大數(shù)據(jù)系統(tǒng)的架構和原理，比如分布式存儲和計算的思想。

2.大數(shù)據(jù)框架的系統(tǒng)，比如hadoop，spark等等。

多做實驗，多請教有經(jīng)驗的人。

只要有信心，有堅持，一定能學好。