Spark SQL和Shark在架構(gòu)上有哪些區(qū)別？Spark shark |即hive onsparkA.它將HQL轉(zhuǎn)換為Spark上的RDD操作，然后通過hive的元數(shù)據(jù)獲取數(shù)據(jù)庫中的表信息，sha

Spark SQL和Shark在架構(gòu)上有哪些區(qū)別？

Spark shark |即hive onspark

A.它將HQL轉(zhuǎn)換為Spark上的RDD操作，然后通過hive的元數(shù)據(jù)獲取數(shù)據(jù)庫中的表信息，shark在HDFS上獲取數(shù)據(jù)和文件夾，在spark上進(jìn)行操作

B.它最大的特點是速度快，與hive完全兼容

C.shark在最終物理計劃執(zhí)行階段使用hive的API實現(xiàn)查詢parsing和邏輯計劃，spark代替Hadoop Mr

d.通過配置shark參數(shù)，shark可以自動將特定的RDD緩存在內(nèi)存中，實現(xiàn)數(shù)據(jù)重用，進(jìn)而加快特定數(shù)據(jù)集的檢索速度。

e.Shark通過UDF實現(xiàn)了一個特定的數(shù)據(jù)分析學(xué)習(xí)算法，它結(jié)合了SQL數(shù)據(jù)查詢和操作分析，最大限度地重用RDD。

Spark SQL

A.是一種基于catalyst引擎的交互式大數(shù)據(jù)SQL技術(shù)。它使用schemardd來操作SQL，并支持比shark更高級的查詢表達(dá)式。

b.支持hive | HBase | Oracle

從普通程序員到高級架構(gòu)師是一個從量變到質(zhì)變的過程。除了內(nèi)部晉升機制或跳槽機會，最重要的是個人能力的增長。在軟件行業(yè)工作了十多年，我想給你一些建議。

1. 不斷豐富理論知識。從廣度和深度兩個維度，不斷拓展和挖掘基礎(chǔ)理論、領(lǐng)先技術(shù)、行業(yè)解決方案、優(yōu)化方法。

2. 熟悉業(yè)務(wù)知識。沒有業(yè)務(wù)，純技術(shù)就無法實現(xiàn)。比如說，編寫財務(wù)軟件的人要有財務(wù)知識，編寫電子軟件的人要有電氣知識，編寫通訊軟件的人要有通訊知識。

3. 多總結(jié)，多提煉。將經(jīng)驗轉(zhuǎn)化為經(jīng)驗，進(jìn)而轉(zhuǎn)化為知識力量。項目經(jīng)驗不僅是經(jīng)驗，也是知識體系的重要組成部分。

4. 從全局性、前瞻性、擴展性和系統(tǒng)性的角度來看待代碼體系和模塊，熟悉框架、消息、協(xié)議、標(biāo)準(zhǔn)和方案，經(jīng)常嘗試從不同的角度去審視、理解和消化。

5. 手上有密碼，心里卻沒有密碼。這是架構(gòu)師的高級領(lǐng)域，在這里理論和代碼可以相互通信。

我希望所有的程序員都能晉升為架構(gòu)師，甚至是專家、總工程師、首席技術(shù)官。非常感謝。

從程序員到高級系統(tǒng)架構(gòu)師該如何進(jìn)階？

Spark是一種工具，而深度學(xué)習(xí)是一種解決問題的策略。如果做大數(shù)據(jù)分析，至少要熟練使用一種工具，深入了解常用的算法。對于大數(shù)據(jù)分析，您不需要在代碼級別和架構(gòu)級別熟悉spark。因為它只是一個工具，你可以熟練地使用它。如果主題有很好的編程基礎(chǔ)，一個月就足夠?qū)W好SPARKSQL和SPARKML了。算法學(xué)習(xí)需要花費更多的精力。但如果受試者想學(xué)習(xí)深度學(xué)習(xí)，則不建議學(xué)習(xí)spark。由于目前常用的CNN、RNN等模型通常使用GPU代替CPU進(jìn)行計算，而spark是一種內(nèi)存計算框架，主要在CPU上完成計算，因此計算效率不如GPU高。因此，如果將深度學(xué)習(xí)用于大數(shù)據(jù)分析，則可以使用tensorflow和其他框架。