開發(fā)spark用java合適嗎 java開發(fā),轉大數(shù)據(jù)好還是機器學習?
java開發(fā),轉大數(shù)據(jù)好還是機器學習?謝謝。我建議轉向大數(shù)據(jù)。我也從事java開發(fā),我對這個主題的糾纏也有同樣的感受。畢竟,如果我精通Java,我已經(jīng)付出了大量的學習精力。如果我學習機器學習,我基本上
java開發(fā),轉大數(shù)據(jù)好還是機器學習?
謝謝。我建議轉向大數(shù)據(jù)。
我也從事java開發(fā),我對這個主題的糾纏也有同樣的感受。畢竟,如果我精通Java,我已經(jīng)付出了大量的學習精力。如果我學習機器學習,我基本上想告別Java,這無疑是一個非常不幸的選擇。
此外,轉向機器學習不僅需要深入了解python,還需要掌握數(shù)學算法,這是不可能一蹴而就的。因此,轉向人工智能的風險相對較高,很容易打亂一個人的職業(yè)規(guī)劃。
目前,大數(shù)據(jù)方向仍是一個需求量大、前景好的工作方向。Java廣泛應用于大數(shù)據(jù)領域。單憑Hadoop生態(tài)系統(tǒng)就足以完成大量的大數(shù)據(jù)工作,而Hadoop和Java是分不開的。
最重要的是大數(shù)據(jù)方向不會低于機器學習的工資,機器學習還處于初級階段。別擔心工資問題。
大數(shù)據(jù)處理為何選擇spark?
Spark是大數(shù)據(jù)時代的產(chǎn)物。它可以基于HDFS中存儲的海量數(shù)據(jù),對每個數(shù)據(jù)節(jié)點上的任務進行分布式處理。Spark將大規(guī)模計算任務分解為有向無環(huán)圖,并按拓撲順序執(zhí)行圖中的任務。通過yarn的調度,可以充分利用分布式系統(tǒng)的計算資源(主要是CPU和內(nèi)存)。與MapReduce相比,spark可以基于內(nèi)存計算(內(nèi)存不足時重新存儲磁盤)進行改進,而MapReduce基于磁盤計算,因此spark的計算速度相當快,可以將普通MapReduce的耗時壓縮10倍。在我們的日常工作中,我們可以早點完成數(shù)據(jù)處理,早點下班。
在大數(shù)據(jù)場景下,如果使用傳統(tǒng)的MySQL數(shù)據(jù)庫通過SQL進行查詢,需要花費大量精力將數(shù)據(jù)庫和表分開,維護數(shù)據(jù),并且經(jīng)常面臨數(shù)據(jù)庫查詢速度慢的問題。您仍然需要有一個基于HDFS的數(shù)據(jù)倉庫,并使用spark進行數(shù)據(jù)處理。快用火花!