一句sql實(shí)現(xiàn)mysql遞歸查詢 大數(shù)據(jù)中的Scala好掌握嗎,自學(xué)可以嗎?
大數(shù)據(jù)中的Scala好掌握嗎,自學(xué)可以嗎?學(xué)習(xí)大數(shù)據(jù)技術(shù)需要掌握Scala。但是,在學(xué)習(xí)Scala之前,您最好在一定程度上了解java和任何函數(shù)式語言(Haskell、SML等),特別是在您可以在編程
大數(shù)據(jù)中的Scala好掌握嗎,自學(xué)可以嗎?
學(xué)習(xí)大數(shù)據(jù)技術(shù)需要掌握Scala。
但是,在學(xué)習(xí)Scala之前,您最好在一定程度上了解java和任何函數(shù)式語言(Haskell、SML等),特別是在您可以在編程范式之間自由切換之后。
Scala不偏向大數(shù)據(jù)方向的科學(xué)研究。它被用于許多地方,如火花。
1,JVM基礎(chǔ),與Java完全兼容。對于堅(jiān)實(shí)的java基礎(chǔ)的學(xué)生,學(xué)習(xí)斯卡拉非常友好!2!在普通工具中,水槽和Hadoop是用java編寫的,Scale和卡夫卡是Scala編寫的。
所以對于想學(xué)習(xí)大數(shù)據(jù)的學(xué)生來說,Scala確實(shí)是最受推薦的。
作為一種相對較新的語言,Scala有一個(gè)混亂的社區(qū)。在scala社區(qū)中有許多不同的嘗試,主要是Java和Haskell,以及actor和reactive編程。如果你還沒有掌握一個(gè)成熟的編程范例,我認(rèn)為你很可能買不起Scala。!當(dāng)java編程基礎(chǔ)很好的時(shí)候,學(xué)習(xí)Hadoop系統(tǒng),然后安排學(xué)習(xí)Scala,然后學(xué)習(xí)Scale,卡夫卡等等。這個(gè)順序更科學(xué)合理,更容易讓大家掌握。
推薦書籍:Scala編程,Scala函數(shù)編程https://www.toutiao.com/i6543924910664712718/
spark parquet只能用于spark sql么?
1)過去全行業(yè)大數(shù)據(jù)分析的技術(shù)棧流水線一般分為以下兩種方式:a)數(shù)據(jù)源-> HDFS-> Mr/hive/spark(相當(dāng)于ETL)-> HDFS parquet-> spark SQL/impala-> Resultservice(可放入數(shù)據(jù)庫或通過JDBC/ODBC用作數(shù)據(jù)服務(wù));b)數(shù)據(jù)源->實(shí)時(shí)更新數(shù)據(jù)到HBase/dB->導(dǎo)出到parquet-> spark SQL/impala-> Resultservice(可放入數(shù)據(jù)庫或通過JDBC/ODBC用作數(shù)據(jù)服務(wù));第二種方式上面提到的可以被Kafka spark streaming spark SQL完全替代(強(qiáng)烈建議使用parquet在內(nèi)部存儲數(shù)據(jù))。2) 預(yù)期方式:datasource-> Kafka-> spark streaming-> PARQ