大數(shù)據(jù)中的Scala好掌握嗎，自學(xué)可以嗎？學(xué)習(xí)大數(shù)據(jù)技術(shù)需要掌握Scala。但是，在學(xué)習(xí)Scala之前，您最好在一定程度上了解java和任何函數(shù)式語言（Haskell、SML等），特別是在您可以在編程

大數(shù)據(jù)中的Scala好掌握嗎，自學(xué)可以嗎？

學(xué)習(xí)大數(shù)據(jù)技術(shù)需要掌握Scala。

但是，在學(xué)習(xí)Scala之前，您最好在一定程度上了解java和任何函數(shù)式語言（Haskell、SML等），特別是在您可以在編程范式之間自由切換之后。

Scala不偏向大數(shù)據(jù)方向的科學(xué)研究。它被用于許多地方，如火花。

1，JVM基礎(chǔ)，與Java完全兼容。對于堅實的java基礎(chǔ)的學(xué)生，學(xué)習(xí)斯卡拉非常友好！2！在普通工具中，水槽和Hadoop是用java編寫的，Scale和卡夫卡是Scala編寫的。

所以對于想學(xué)習(xí)大數(shù)據(jù)的學(xué)生來說，Scala確實是最受推薦的。

作為一種相對較新的語言，Scala有一個混亂的社區(qū)。在scala社區(qū)中有許多不同的嘗試，主要是Java和Haskell，以及actor和reactive編程。如果你還沒有掌握一個成熟的編程范例，我認(rèn)為你很可能買不起Scala。！當(dāng)java編程基礎(chǔ)很好的時候，學(xué)習(xí)Hadoop系統(tǒng)，然后安排學(xué)習(xí)Scala，然后學(xué)習(xí)Scale，卡夫卡等等。這個順序更科學(xué)合理，更容易讓大家掌握。

推薦書籍：Scala編程，Scala函數(shù)編程https://www.toutiao.com/i6543924910664712718/

為什么Spark要用Scala實現(xiàn)？

SBT更適合構(gòu)建Scala項目，Maven更適合構(gòu)建java項目。2對于spark中的API，Java和scala是不同的，但是差別不大。三。如果使用Scala開發(fā)spark原型程序，可以使用spark-s Shell或spark Shell進(jìn)行交互式實時查詢。使用Scala甚至可以減少一個數(shù)量級的代碼量，但是Scala的閾值很高。建議：使用Scala構(gòu)建spark作業(yè)，因為spark本身是由SBT構(gòu)建的。同時，利用Scala開發(fā)spark-job有助于理解spark的實現(xiàn)機(jī)制，它與Scala是一個很好的匹配。RDD的許多思想都與Scala類似，如map、filter等高階算子與Scala的概念表完全相同。Java在很短的代碼中有很多行函數(shù)。它類似于FP中的不可變延遲計算，實現(xiàn)了分布式內(nèi)存對象RDD，同時實現(xiàn)了流水線。Scala擅長借用，比如設(shè)計初衷是支持JVM，所以它可以完美地借用Java的生態(tài)功能。像spark一樣，很多東西不應(yīng)該自己寫，而是可以直接使用和借鑒，比如直接在yarn、mesos、EC2中部署，使用HDFS、S3，借用hive的SQL解析部分；

3。Akka還可以促進(jìn)高效網(wǎng)絡(luò)通信的發(fā)展。

為什么Spark要用Scala實現(xiàn)？

1. 為了讓spark連接到hive的原始數(shù)據(jù)倉庫，我們需要在hive中連接hive-網(wǎng)站.xml將該文件復(fù)制到spark的conf目錄，這樣您就可以通過這個配置文件找到hive的元數(shù)據(jù)和數(shù)據(jù)存儲。

在這里，因為我的spark是自動安裝和部署的，所以我需要知道CDH將配置-網(wǎng)站.xml它在哪里？摸索之后。此文件的默認(rèn)路徑在/etc/hive/conf下

類似地，spark的conf在/etc/spark/conf下

此時，如上所述，相應(yīng)的配置單元被更改-網(wǎng)站.xml復(fù)制到spark/conf目錄

如果hive的元數(shù)據(jù)存儲在mysql中，我們需要準(zhǔn)備mysql相關(guān)的驅(qū)動程序，例如mysql-connector-java-5.1.22-bin.jar文件.