hive為什么需要mysql mysql導(dǎo)入到hivehdfs上顯示又?jǐn)?shù)據(jù)了hive表里面什么都沒有?
mysql導(dǎo)入到hivehdfs上顯示又?jǐn)?shù)據(jù)了hive表里面什么都沒有?1. 你可以先把它復(fù)制到HDFS2。然后您可以用配置單元的外部表創(chuàng)建一個新表,您可以直接選擇和查詢該表,而無需再次加載到配置單元
mysql導(dǎo)入到hivehdfs上顯示又?jǐn)?shù)據(jù)了hive表里面什么都沒有?
1. 你可以先把它復(fù)制到HDFS
2。然后您可以用配置單元的外部表創(chuàng)建一個新表,您可以直接選擇和查詢該表,而無需再次加載到配置單元
例如:
創(chuàng)建外部表testhivedrivertable(主機名字符串、logdate字符串、type字符串、class字符串、demo Array
給出了一個實用的解決方案:1。數(shù)據(jù)可以直接存儲在HDFS中。如果是日志文件,可以通過flume和其他工具進(jìn)行傳輸。如果數(shù)據(jù)存在于關(guān)系數(shù)據(jù)庫中,可以選擇使用sqoop將其導(dǎo)入hdfs2。數(shù)據(jù)很容易在HDFS上完成。您可以編寫Mr或簡單地使用hive來計算統(tǒng)計結(jié)果。最終結(jié)果數(shù)據(jù)應(yīng)該非常小。三。把上面的結(jié)果數(shù)據(jù)倒回MySQL(有很多方法可以選擇)進(jìn)行在線查詢
對于I in`cat配置單元.txt`MySQL-uroot-P passwd-e“顯示數(shù)據(jù)庫”嗎