sqoop將hive表導入到數(shù)據(jù)庫 sqoop導出到mysql需要的驅(qū)動包是？
sqoop導出到mysql需要的驅(qū)動包是？你輸入sqoop import的目錄在哪里？如果在/usr/sqoop下輸入該命令，請在/usr/sqoop下輸入hiv如何用sqoop將hive分區(qū)表信息導
sqoop導出到mysql需要的驅(qū)動包是？
你輸入sqoop import的目錄在哪里？如果在/usr/sqoop下輸入該命令，請在/usr/sqoop下輸入hiv
如何用sqoop將hive分區(qū)表信息導入到mysql命令？
問題分析:
hive中分區(qū)表的底層是HDFS多個目錄下的單個文件，hive導出數(shù)據(jù)的本質(zhì)是導出HDFS的文件。
hive中的分區(qū)表，因為分區(qū)字段(靜態(tài)分區(qū))不在文件中，所以在導出sqoop時不能直接導出。
思路:在hive中創(chuàng)建一個臨時表，復制分區(qū)表，然后將分區(qū)字段轉(zhuǎn)換成普通字段，再用sqoop導出tmp表，實現(xiàn)需求。
步驟如下:
文章目錄
1.創(chuàng)建目標表(分區(qū)表)
1.1查看表格結(jié)構(gòu)
2.輸入數(shù)據(jù)
3.查詢表dept_partition
4.創(chuàng)建臨時表。
5.查詢臨時表
6.檢查表結(jié)構(gòu)(此時，分區(qū)表已經(jīng)轉(zhuǎn)換為非分區(qū)表)
鐘健表部門_分區(qū)
8.使用sqoop導入到MySQL。
查詢驗證已成功導出。
1.創(chuàng)建目標表(分區(qū)表)
hivegt創(chuàng)建表` dept_partition `(
` deptno` int，
` dname ;字符串，
` loc ;字符串)
由(` month` string)行格式分隔的字段以t結(jié)尾
一個
2
三
四
五
一個
2
三
四
五
1.1查看表格結(jié)構(gòu)
hivegt顯示創(chuàng)建表dept_partition
一個
一個
- -
| createtab_stmt |
- -
|創(chuàng)建表“dept _ partition ”(|
| `deptno` int，|
| `dname ;字符串，|
| `loc` string) |
|分區(qū)者(|
| `月`字符串)
一個
2
三
四
五
六
七
八
九
一個
2
三
四
五
六
七八
九
2.輸入數(shù)據(jù)
hivegt將path/user/hive/hive _ db/data/dept . txt中的數(shù)據(jù)加載到表dept_partition中
一個
一個
10會計1700
20研究1800
30銷售1900
40操作1700
一個
2
三
四
一個
2
三
四
3.查詢表dept_partition
hivegt select * from dept _ partition
一個
一個
- - - - -
| dept _ | dept _ partition . dname | dept _ partition . loc | dept _ |
- - - - -
| 10 |會計| 1700 | 2019-10-19 |
| 20 |研究| 1800 | 2019-10-19 |
| 30 |銷售| 1900 | 2019-10-19 |
| 40 |運營| 1700 | 2019-10-19 |
| 10 |會計| 1700 | 2019-10-20 |
| 20 |研究| 1800 | 2019-10-20 |
| 30 |銷售| 1900 | 2019-10-20 |
| 40 |運營| 1700 | 2019-10-20 |
- - - - -
一個
2
三
四
五
六
七
八
九
10
11
12
一個
2
三
四
五
六
七
八
九
10
11
12
4.創(chuàng)建臨時表。
希韋特將表tmp_dept_partition創(chuàng)建為select * from dept_partition
一個
一個
5.查詢臨時表
hivegt select * from tmp _ dept _ partition
一個
一個
- - - - -
| tmp _ dept _ | tmp _ dept _ partition . dname | tmp _ dept _ partition . loc | tmp _ dept _ |
- - - - -
| 10 |會計| 1700 | 2019-10-19 |
| 20 |研究| 1800 | 2019-10-19 |
| 30 |銷售| 1900 | 2019-10-19 |
| 40 |運營| 1700 | 2019-10-19 |
| 10 |會計| 1700 | 2019-10-20 |
| 20 |研究| 1800 | 2019-10-20 |
| 30 |銷售| 1900 | 2019-10-20 |
| 40 |運營| 1700 | 2019-10-20 |
- - - - -
一個
2
三
四
五
六
七
八
九
10
11
12
一個
2
三
四
五
六
七
八
九
10
11
12
6.檢查表結(jié)構(gòu)(此時，分區(qū)表已經(jīng)轉(zhuǎn)換為非分區(qū)表)
hivegt顯示創(chuàng)建表tmp_dept_partition
一個
一個
-- -
| createtab_stmt |
- -
|創(chuàng)建表“tmp _ dept _ partition ”(|
| `deptno` int，|
| `dname ;字符串，|
| `loc ;字符串，|
| `月`字符串)
一個
2
三
四
五
六
七
八
一個
2
三
四
五
六
七
八
鐘健表部門_分區(qū)
如果存在dept_partition，mysqlgt將刪除表
創(chuàng)建表dept_partition(
` deptno` int，
` dname ; varchar(20)，
` loc ; varchar(20)，
` month ; varchar(50))
一個
2
三
四
五
六
一個
2
三
四
五
六
8.使用sqoop導入到MySQL。
bin/sqoop導出
-連接JDBC :mysql://Hadoop 01 : 3306/partitionb
-用戶名root
-密碼123456
-表部門分區(qū)
-映射器數(shù)量1
-export-目錄/用戶/配置單元/倉庫/配置單元_數(shù)據(jù)庫.數(shù)據(jù)庫/tmp _部門_分區(qū)
-輸入字段-終止者