hive數(shù)據(jù)導(dǎo)入到mysql數(shù)據(jù)庫(kù) 大數(shù)據(jù)怎么入門(mén)學(xué)習(xí)好？
大數(shù)據(jù)怎么入門(mén)學(xué)習(xí)好？大數(shù)據(jù)剛?cè)腴T(mén)簡(jiǎn)單要自學(xué)javase,能夠掌握了javase之后，最好就是再學(xué)點(diǎn)javaee,假如不學(xué)的話，影響也又不是不光大。接下來(lái)要學(xué)的東西就都很多了，通常是三塊，一種是離線模
大數(shù)據(jù)怎么入門(mén)學(xué)習(xí)好？
大數(shù)據(jù)剛?cè)腴T(mén)簡(jiǎn)單要自學(xué)javase,能夠掌握了javase之后，最好就是再學(xué)點(diǎn)javaee,假如不學(xué)的話，影響也又不是不光大。接下來(lái)要學(xué)的東西就都很多了，通常是三塊，一種是離線模式計(jì)算出，以hadoop重點(diǎn)，一種是實(shí)時(shí)計(jì)算，以spark重點(diǎn)，其實(shí)大數(shù)據(jù)并非一兩個(gè)技術(shù)的組合，而是一整套求完整的生態(tài)系統(tǒng)，因此要學(xué)的東西應(yīng)該很多的，大數(shù)據(jù)通常解決的辦法的是海量數(shù)據(jù)的存儲(chǔ)和計(jì)算問(wèn)題，個(gè)人建議那就把java才能學(xué)好，只不過(guò)很多大數(shù)據(jù)的軟件全是基于條件javac語(yǔ)言設(shè)計(jì)的，因?yàn)閯側(cè)腴T(mén)大數(shù)據(jù)的話，個(gè)人建議先從java剛?cè)腴T(mén)學(xué)比較比較好！
如何用sqoop將hive分區(qū)表信息導(dǎo)入到mysql命令？
問(wèn)題分析：
hive中分區(qū)表其底層那是HDFS中的多個(gè)目錄下的單個(gè)文件，hive文件導(dǎo)入數(shù)據(jù)本質(zhì)是將HDFS中的文件文件導(dǎo)出
hive中的分區(qū)表，畢竟分區(qū)字段（靜態(tài)硬盤(pán)分區(qū)）還在文件中，因此在sqoop導(dǎo)出來(lái)的時(shí)候，難以將分區(qū)字段通過(guò)就導(dǎo)出
思路：在hive中創(chuàng)建戰(zhàn)隊(duì)一個(gè)充當(dāng)表，將分區(qū)表不能復(fù)制進(jìn)來(lái)后分區(qū)字段轉(zhuǎn)換成為普通字段，然后再再用sqoop將tmp表導(dǎo)出即實(shí)現(xiàn)程序需求
步湊萬(wàn)分感謝：
文章目錄
1.創(chuàng)建目標(biāo)表（分區(qū)表）
1.1打開(kāi)系統(tǒng)表結(jié)構(gòu)
2.導(dǎo)入數(shù)據(jù)
3.查詢(xún)表dept_partition
4.創(chuàng)建戰(zhàn)隊(duì)預(yù)備表tmp_dept_partition
5.網(wǎng)上查詢(xún)預(yù)備表
6.查看表結(jié)構(gòu)(此時(shí)此刻磁盤(pán)分區(qū)表已經(jīng)轉(zhuǎn)換的為非主分區(qū)表了)
中建表dept_partition
8.可以使用sqoop文件導(dǎo)入到MySQL
網(wǎng)站查詢(xún)驗(yàn)正是否是成功導(dǎo)出來(lái)
1.修改目標(biāo)表（磁盤(pán)分區(qū)表）
hivegtCREATETABLE`dept_partition`(
`deptno`int,
`dname`string,
`loc`string)
PARTITIONEDby(`month`string)rowformatdelimitedfieldsterminatedhet.1查找表結(jié)構(gòu)
hivegtshowcreatetabledept_partition
1
1
------------------------------------------------------
|createtab_stmt|
------------------------------------------------------
|CREATETABLE`dept_partition`(|
|`deptno`int,|
|`dname`string,|
|`loc`string)|
|PARTITIONEDBY(|
|`month`string)
1
2
3
4
5
6
7
8
9
1
2
3
4
5
6
7
8
9
2.導(dǎo)入數(shù)據(jù)
hivegtload datainpath/user/hive/hive_db/data/dept.txtintotabledept_partition
1
1
10tACCOUNTINGt1700
20tRESEARCHt1800
30tSALESt1900
40tOPERATIONSt1700
1
2
3
4
1
2
3
4
3.查詢(xún)表dept_partition
hivegtselect*fromdept_partition
1
1
---------------------------------------------------------------------------------------------
|dept_|dept_partition.dname|dept_partition.loc|dept_|
---------------------------------------------------------------------------------------------
|10|ACCOUNTING|1700|2019-10-19|
|20|RESEARCH|1800|2019-10-19|
|30|SALES|1900|2019-10-19|
|40|OPERATIONS|1700|2019-10-19|
|10|ACCOUNTING|1700|2019-10-20|
|20|RESEARCH|1800|2019-10-20|
|30|SALES|1900|2019-10-20|
|40|OPERATIONS|1700|2019-10-20|
---------------------------------------------------------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
8
9
10
11
12
4.創(chuàng)建臨時(shí)表tmp_dept_partition
hivegtsettmp_dept_partitionasselect*fromdept_partition
1
1
5.查詢(xún)臨時(shí)表
hivegtselect*fromtmp_dept_partition
1
1
-------------------------------------------------------------------------------------------------------------
|tmp_dept_|tmp_dept_partition.dname|tmp_dept_partition.loc|tmp_dept_|
-------------------------------------------------------------------------------------------------------------
|10|ACCOUNTING|1700|2019-10-19|
|20|RESEARCH|1800|2019-10-19|
|30|SALES|1900|2019-10-19|
|40|OPERATIONS|1700|2019-10-19|
|10|ACCOUNTING|1700|2019-10-20|
|20|RESEARCH|1800|2019-10-20|
|30|SALES|1900|2019-10-20|
|40|OPERATIONS|1700|2019-10-20|
-------------------------------------------------------------------------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
8
9
10
11
12
6.欄里點(diǎn)表結(jié)構(gòu)(此時(shí)此刻分區(qū)表早就裝換為非系統(tǒng)分區(qū)表了)
hivegtshowcreatetabletmp_dept_partition
1
1
------------------------------------------------------
|createtab_stmt|
------------------------------------------------------
|CREATETABLE`tmp_dept_partition`(|
|`deptno`int,|
|`dname`string,|
|`loc`string,|
|`month`string)
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
中建表dept_partition
mysqlgttracetableifexistsdept_partition
createtabledept_partition(
`deptno`int,
`dname`varchar(20),
`loc`varchar(20),
`month`varchar(50))
1
2
3
4
5
6
1
2
3
4
5
6
8.在用sqoop導(dǎo)入到MySQL
bin/sqoopexport
--connectjdbc:mysql://hadoop01:3306/partitionTb
--usernameroot
--password123456
--tabledept_partition
--num-mappers1
--export-dir/user/hive/warehouse/hive_db.db/tmp_dept_partition
--input-fields-terminated-he