hive和sparksql的區(qū)別？過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQ

hive和sparksql的區(qū)別？

過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQL語法解析器和優(yōu)化器，修改executor，使其物理執(zhí)行過程在spark上運行；spark-SQL使用自己的語法解析器、優(yōu)化器和executor，spark-SQL還擴展了接口，不僅支持hive數(shù)據(jù)查詢，還支持多數(shù)據(jù)源的數(shù)據(jù)查詢。

hive sql與sql區(qū)別？

主要區(qū)別如下：

1。配置單元不支持等效聯(lián)接

·對于SQL中的兩個內聯(lián)表，它可以寫成：

·select*from dual a，dual b where a.key=b.key

；在配置單元中，它應該是

·select*from dual a join dual b on a.key=b.key

而不是傳統(tǒng)格式：

select t1.a1 as C1，t2.b1 as c2 from t1，t2

其中t1.a2=T2。B2

2，分號字符

·分號是SQL語句的結束標記，在hiveql中也有使用，但是在hiveql中，分號的識別不是很聰明，例如：

·從dual中選擇concat（key，concat（”，key））?！さ钱攈iveql解析語句時，它提示：

失?。航馕鲥e誤：第0行：-1函數(shù)規(guī)范中輸入不匹配“<eof>”?！そ鉀Q方法是使用分號八進制ASCII碼進行轉義，因此上面的語句應該寫成：

·select concat（key，concat（“073”，key））from dual

3，is[not]null

·null表示SQL中的空值。值得注意的是，在hiveql中，如果string type字段為空字符串，即長度為0，則應計算null的判斷結果為false。

4。Hive不支持將數(shù)據(jù)插入到現(xiàn)有的表或分區(qū)中，

只支持覆蓋和重寫整個表

Hive是基于Hadoop的數(shù)據(jù)倉庫基礎設施。它提供了一系列可用于數(shù)據(jù)提取、轉換和加載（ETL）的工具，ETL是一種能夠存儲、查詢和分析Hadoop中存儲的大規(guī)模數(shù)據(jù)的機制。Hive定義了一種簡單的類似SQL的查詢語言HQL，它允許熟悉SQL的用戶查詢數(shù)據(jù)。同時，這種語言還允許熟悉MapReduce的開發(fā)人員開發(fā)定制的mapper和reducer，以處理內置mapper和reducer無法完成的復雜分析工作。Hive采用類SQL查詢模式，將SQL查詢轉換成MapReduce作業(yè)，在Hadoop集群上執(zhí)行

功能點：Hive:1，數(shù)據(jù)存儲

2，數(shù)據(jù)清理spark:1，數(shù)據(jù)清理2，流計算Hive可以通過HQL模式讀取Hive數(shù)據(jù)進行數(shù)據(jù)清理spark可以通過spark SQL或spark core清理數(shù)據(jù)，并且可以讀取數(shù)據(jù)源包，如JDBC、hive、elasticsearch、文件等，因此spark可以替代hive的數(shù)據(jù)清洗功能，hive也可以作為數(shù)據(jù)源。蜂巢的優(yōu)點在于1。大數(shù)據(jù)存儲，2。MapReduce操作通過SQL降低大數(shù)據(jù)的使用門檻spark的優(yōu)點有：1?；趦却娴腗apReduce運算速度快。流計算（基準產品：Flink，暴風雨）~www.crazyant.net

testHivePara]$配置單元-f學生.sql配置單元歷史文件=/tmp/crazyant.net/hive作業(yè)日志cztu201309131515u1720869864.txtok占用時間：2.131秒占用時間：0.878秒從文件復制數(shù)據(jù)：/home/users/czt/testdatauudentcopying文件：文件：/home/users/czt/testdatauudentloading數(shù)據(jù)到表測試.studentOK