求問怎么設(shè)置sparksql讀取hive的數(shù)據(jù)庫？過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使

求問怎么設(shè)置sparksql讀取hive的數(shù)據(jù)庫？

過去，hive是用來建立數(shù)據(jù)倉庫的，因此對hive管理的數(shù)據(jù)查詢有很大的需求。Hive、shark和sparlsql可以查詢Hive數(shù)據(jù)。Shark使用hive的SQL語法解析器和優(yōu)化器，修改executor，使其物理執(zhí)行過程在spark上運行；spark-SQL使用自己的語法解析器、優(yōu)化器和executor，spark-SQL還擴展了接口，不僅支持hive數(shù)據(jù)查詢，還支持多數(shù)據(jù)源的數(shù)據(jù)查詢。

hive和sparksql的區(qū)別？

功能點：hive:[1，數(shù)據(jù)存儲

2，數(shù)據(jù)清理spark:1，數(shù)據(jù)清理2，流計算hive可以通過HQL模式讀取hive數(shù)據(jù)進行數(shù)據(jù)清理spark可以通過spark SQL或spark core模式清理數(shù)據(jù)，可以讀取數(shù)據(jù)源包live JDBC、hive、elasticsearch、file等，因此spark可以替換數(shù)據(jù)蜂巢的清洗功能，也可以使用蜂巢作為數(shù)據(jù)源。蜂巢的優(yōu)勢在于1。大數(shù)據(jù)存儲。MapReduce操作通過SQL降低大數(shù)據(jù)使用門檻。Spark的優(yōu)勢在于1。基于內(nèi)存的MapReduce操作，速度快。流計算（基準(zhǔn)產(chǎn)品Flink，storm）

請問寫SQL腳本的算不算程序員？

應(yīng)該叫數(shù)據(jù)庫工程師，也是不錯的選擇！