spark使用 hive和sparksql的區(qū)別?
hive和sparksql的區(qū)別?過去,hive是用來建立數(shù)據(jù)倉(cāng)庫(kù)的,因此對(duì)hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQ
hive和sparksql的區(qū)別?
過去,hive是用來建立數(shù)據(jù)倉(cāng)庫(kù)的,因此對(duì)hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQL語法解析器和優(yōu)化器,修改executor,使其物理執(zhí)行過程在spark上運(yùn)行;spark-SQL使用自己的語法解析器、優(yōu)化器和executor,spark-SQL還擴(kuò)展了接口,不僅支持hive數(shù)據(jù)查詢,還支持多數(shù)據(jù)源的數(shù)據(jù)查詢。
有木有用sparksql的,怎么批量執(zhí)行很多個(gè)sql語句?
只需在PL/SQL:PL/SQL developer--->文件--->新建--->命令窗口中使用命令窗口,然后在彈出窗口中依次執(zhí)行:SQL>@f:ABCa.sqlsql>@f:ABCb.sqlsql>@f:ABCc.SQL
為了實(shí)現(xiàn)配置單元兼容性,shark重用解析,邏輯執(zhí)行計(jì)劃轉(zhuǎn)換、執(zhí)行計(jì)劃優(yōu)化以及hive中HQL的其他邏輯??梢越频卣J(rèn)為只有物理執(zhí)行計(jì)劃被spark作業(yè)所取代(由內(nèi)存列存儲(chǔ)和其他與hive關(guān)系不大的優(yōu)化所補(bǔ)充)