centos7.2怎么安裝mariadb？yum-y install Maria db-server Maria db Maria db-developsystemctl start mariadbs

centos7.2怎么安裝mariadb？

yum-y install Maria db-server Maria db Maria db-developsystemctl start mariadbsystemctl enable mariadbmysql _ secure _ installation firewall-cmd-permanent-add-service MySQL systemctl r

怎么用sqoop把hive的數(shù)據(jù)導(dǎo)入mysql？

運(yùn)行環(huán)境centos 5.6 hadoop hive

Sqoop是clouder公司在hadoop技術(shù)支持下開發(fā)的工具，用于在關(guān)系數(shù)據(jù)庫(kù)和HDFS、Hive之間導(dǎo)入導(dǎo)出數(shù)據(jù)。

上海尚學(xué)堂hadoop大數(shù)據(jù)培訓(xùn)群原創(chuàng)，hadoop大數(shù)據(jù)技術(shù)相關(guān)文章陸續(xù)呈現(xiàn)，敬請(qǐng)關(guān)注！

使用過程中可能遇到的問題:

Sqoop依賴于zookeeper，所以ZOOKEEPER_HOME必須配置到環(huán)境變量中。

Sqoop-1.2.0-CDH3B4依賴于hadoop-core-0.20.2-CDH3B4.jar，所以需要下載hadoop-0.20.2-CDH3B4.tar.gz，解壓后復(fù)制Hadoop-0 . 20 . 2-cdh3b 4/Hadoop-Core-0 . 20 . 2-cdh3b 4 . jar到Sqoop。

1首先安裝sqoop，如果使用clouder發(fā)行版的話非常簡(jiǎn)單。

# yum安裝sqoop

如果用官方版本的話。

# cd

# wget

# yum -y安裝sqoop

將安裝Sqoop。

2使用sqoop

首先，將MySQL-connector-Java-5 . 1 . 16-bin . jar文件復(fù)制到文件夾/usr/lib/sqoop/lib中。

3導(dǎo)入和導(dǎo)出數(shù)據(jù)庫(kù)

1)列出mysql數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)庫(kù)命令。

# sq OOP list-databases-connect JDBC :mysql://localhost: 3306/-用戶名root -密碼123456

2)連接mysql，列出數(shù)據(jù)庫(kù)中的表命令。

# sqoop列表-表格-連接ect JDBC :mysql://localhost: 3306/test-username root-password 123456

命令中的Test是mysql數(shù)據(jù)庫(kù)中的測(cè)試數(shù)據(jù)庫(kù)名，username password分別是mysql數(shù)據(jù)庫(kù)的用戶密碼。

3)將關(guān)系數(shù)據(jù)的表結(jié)構(gòu)復(fù)制到hive中

sq OOP create-hive-table-connect JDBC :mysql://localhost: 3306/test-table用戶名-用戶名root -密碼123456 - hive-table測(cè)試

其中-tableusername是mysql中數(shù)據(jù)庫(kù)測(cè)試的表-hive-tabletest是hive中新創(chuàng)建的表的名稱。

4)將文件從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入hive。

sqoop導(dǎo)入-連接JDBC :mysql://localhost: 3306/test-用戶名root -密碼MySQL-password-table t1-hive-import

5)將hive中的表格數(shù)據(jù)導(dǎo)入mysql。

。/sqoop export-connect JDBC :mysql://localhost: 3306/t: 51 : 22信息運(yùn)行job: job _ 201108051007 _ 0010

11/08/05 10 : 51 : 23信息地圖0%減少0/08/05 10 : 51 : 36信息任務(wù)Id :嘗試_201108051007_0010_m_000000_0，狀態(tài):失敗

位于java.util.AbstractList$()

在uv_info。__loadFromFields(uv_)

在紫外波段

在()

在()

在()

在()

在()

在()

價(jià)格為100美元

at(本地方法)

在()

在()

在()

這個(gè)錯(cuò)誤的原因是sqoop解析文件的字段與MySql數(shù)據(jù)庫(kù)表的字段不對(duì)應(yīng)。所以需要在執(zhí)行的時(shí)候給sqoop添加參數(shù)，告訴sqoop文件的分隔符，讓它正確解析文件字段。

配置單元默認(rèn)字段分隔符是