學(xué)大數(shù)據(jù)開發(fā)有前途嗎？謝謝你的邀請！首先，學(xué)習(xí)大數(shù)據(jù)開發(fā)是一個不錯的選擇。一方面工作比較多，另一方面工資比較高。從研究生就業(yè)情況來看，2019年秋季招聘期間，很多大公司都發(fā)布了很多大數(shù)據(jù)開發(fā)崗位。大數(shù)

學(xué)大數(shù)據(jù)開發(fā)有前途嗎？

謝謝你的邀請

！首先，學(xué)習(xí)大數(shù)據(jù)開發(fā)是一個不錯的選擇。一方面工作比較多，另一方面工資比較高。從研究生就業(yè)情況來看，2019年秋季招聘期間，很多大公司都發(fā)布了很多大數(shù)據(jù)開發(fā)崗位。

大數(shù)據(jù)開發(fā)可以簡單分為兩類，一類是大數(shù)據(jù)平臺開發(fā)，另一類是大數(shù)據(jù)應(yīng)用開發(fā)。目前，大工廠的崗位大多集中在大數(shù)據(jù)平臺開發(fā)崗位。隨著大數(shù)據(jù)的逐步實施，未來大數(shù)據(jù)應(yīng)用開發(fā)崗位的人才需求將逐步增加。對于那些有扎實的數(shù)學(xué)基礎(chǔ)和一些基本的計算機(jī)知識的人來說，他們可以向大數(shù)據(jù)平臺發(fā)展。大數(shù)據(jù)平臺開發(fā)通常屬于研發(fā)級崗位。與大數(shù)據(jù)應(yīng)用開發(fā)相比，大數(shù)據(jù)平臺開發(fā)崗位薪酬較高，職業(yè)生命周期相對較長。從近年來大公司的招聘情況來看，大數(shù)據(jù)方向的研究生更容易獲得大數(shù)據(jù)平臺開發(fā)職位。！對于基礎(chǔ)薄弱的初學(xué)者來說，他們可以從大數(shù)據(jù)的應(yīng)用開發(fā)開始，然后隨著知識結(jié)構(gòu)的不斷改進(jìn)逐步升級他們的位置。學(xué)習(xí)大數(shù)據(jù)應(yīng)用開發(fā)需要注意學(xué)習(xí)三個方面的知識，第一是編程語言基礎(chǔ)知識；第二是大數(shù)據(jù)開發(fā)平臺知識；第三是行業(yè)知識。

目前，Java、python、Scala等語言廣泛應(yīng)用于大數(shù)據(jù)開發(fā)領(lǐng)域，因此可以從其中一種編程語言入手，大數(shù)據(jù)平臺可以專注于Hadoop和spark。在工業(yè)互聯(lián)網(wǎng)時代，大量的應(yīng)用開發(fā)將基于各種平臺，包括大數(shù)據(jù)平臺、云計算平臺和人工智能平臺。

后端開發(fā)和大數(shù)據(jù)開發(fā)相比，哪個更累？哪個加班更多、壓力更大？

后端開發(fā)通常稱為服務(wù)器端開發(fā)。需要解決的問題要根據(jù)實際應(yīng)用場景來確定。技術(shù)選擇與服務(wù)規(guī)模直接相關(guān)。如果是大型服務(wù)，后端服務(wù)往往更復(fù)雜。它需要綜合考慮并發(fā)處理、事務(wù)處理、安全處理、資源調(diào)度優(yōu)化等問題，通常采用分布式服務(wù)來提高系統(tǒng)的處理能力和穩(wěn)定性。如果服務(wù)規(guī)模相對較小，后端服務(wù)的實現(xiàn)就容易得多。

大數(shù)據(jù)開發(fā)通常指大數(shù)據(jù)應(yīng)用開發(fā)。出發(fā)點是滿足系統(tǒng)的大數(shù)據(jù)處理任務(wù)，為后續(xù)的數(shù)據(jù)分析提供支持。當(dāng)然，大數(shù)據(jù)開發(fā)崗也包括大數(shù)據(jù)平臺的研發(fā)。與后端服務(wù)開發(fā)不同，大數(shù)據(jù)開發(fā)通常側(cè)重于數(shù)據(jù)操作，僅圍繞大數(shù)據(jù)平臺提供的API完成具體的數(shù)據(jù)操作任務(wù)。相對而言，大數(shù)據(jù)開發(fā)往往可以進(jìn)行功能封裝和重用，可以在一定程度上減輕開發(fā)負(fù)擔(dān)。另外，由于大部分?jǐn)?shù)據(jù)處理任務(wù)都可以通過平臺提供的功能來完成，大數(shù)據(jù)開發(fā)通常不需要考慮系統(tǒng)層面的問題，這也可以讓開發(fā)人員更加專注。

通常情況下，后端開發(fā)和大數(shù)據(jù)開發(fā)都有一定的壓力，但是哪個壓力更大，直接關(guān)系到業(yè)務(wù)類型和業(yè)務(wù)規(guī)模的發(fā)展。目前，我們正處在大數(shù)據(jù)時代。對于后端開發(fā)者來說，需要掌握大數(shù)據(jù)開發(fā)的相關(guān)知識，而對于后端開發(fā)者來說，學(xué)習(xí)大數(shù)據(jù)開發(fā)會比較順利。

最后，從行業(yè)發(fā)展趨勢來看，與大數(shù)據(jù)發(fā)展相關(guān)的工作在未來通常會有更多的發(fā)展機(jī)會，特別是在工業(yè)互聯(lián)網(wǎng)階段。

大數(shù)據(jù)開發(fā)的就業(yè)怎么樣？

作為it領(lǐng)域的研究者和教育家，讓我來回答這個問題。

首先，目前大數(shù)據(jù)開發(fā)崗位的人才缺口比較大。近年來，很多大數(shù)據(jù)方向的研究生都會選擇發(fā)展崗位。一方面，開發(fā)類崗位對人才的需求相對較大，不如算法類崗位競爭激烈。另一方面，開發(fā)類崗位的附加值相對較高，幾乎與算法類崗位相當(dāng)。

從目前大行業(yè)發(fā)展趨勢和人才需求趨勢來看，在工業(yè)互聯(lián)網(wǎng)逐步實施和應(yīng)用的過程中，大數(shù)據(jù)開發(fā)崗位的人才需求將不斷增加。不僅IT互聯(lián)網(wǎng)行業(yè)需要大量的大數(shù)據(jù)開發(fā)人才，傳統(tǒng)行業(yè)也需要大量的大數(shù)據(jù)開發(fā)人才。從這個角度來看，我們選擇學(xué)習(xí)大數(shù)據(jù)開發(fā)知識會有很好的就業(yè)前景。

大數(shù)據(jù)開發(fā)工作通常可以分為平臺開發(fā)工作和行業(yè)場景開發(fā)工作。平臺開發(fā)工作通常屬于研發(fā)級工作，對開發(fā)者的要求相對較高，而行業(yè)場景開發(fā)工作通常是基于大數(shù)據(jù)平臺完成特定的開發(fā)任務(wù)，因此對開發(fā)者的要求相對較低。目前，大數(shù)據(jù)還處于應(yīng)用的初級階段，即使從事行業(yè)場景開發(fā)，也能拿到不錯的薪水。

大數(shù)據(jù)開發(fā)和傳統(tǒng)軟件開發(fā)有兩個明顯的區(qū)別。一是大數(shù)據(jù)發(fā)展注重業(yè)務(wù)和數(shù)據(jù)，特別注重數(shù)據(jù)價值的挖掘和展示。這顯然不同于傳統(tǒng)的軟件開發(fā)，后者更注重業(yè)務(wù)流程。也可以說，發(fā)展思路不同。

第二，大數(shù)據(jù)的發(fā)展通常依賴于大數(shù)據(jù)平臺，而大數(shù)據(jù)平臺在大數(shù)據(jù)發(fā)展的過程中起著非常重要的作用，因此學(xué)習(xí)大數(shù)據(jù)發(fā)展必須注意大數(shù)據(jù)平臺相關(guān)知識的學(xué)習(xí)。

成為一個大數(shù)據(jù)研發(fā)工程師需要學(xué)習(xí)哪些知識？

大數(shù)據(jù)工程師有很多方向，但他們離不開Hadoop、hive、HBase、Kafka、spark、flum、spoop、Flink等基本組件。我們需要熟悉他們

！如果你是大數(shù)據(jù)平臺研發(fā)工程師，你需要專注于Java系統(tǒng)和以上組件的開發(fā)

如果你是大數(shù)據(jù)運(yùn)維工程師，你需要專注于Linux運(yùn)維，包括shell腳本。當(dāng)然，用Python效果更好，上面組件的部署和維護(hù)也很常見

如果你是一個數(shù)據(jù)訪問和開發(fā)工程師，那就是各種sq l.Java和各種數(shù)據(jù)訪問和處理組件，包括Kafka，kettle，flum，storm，等等

如果是一種大數(shù)據(jù)挖掘和分析，各種SQL、hive、spark和重要的機(jī)器學(xué)習(xí)算法都是通用的，另外，各種可視化技術(shù)都可以達(dá)到更好的效果，謝謝

大數(shù)據(jù)可以幫助科學(xué)研究如下：

·大型強(qiáng)子對撞機(jī)實驗代表大約1.5億個傳感器，每秒提供4000萬個數(shù)據(jù)。每秒有近6億次碰撞。在過濾并避免記錄超過99.99995%的數(shù)據(jù)流之后，每秒有100個目標(biāo)沖突。

因此，僅使用不到0.001%的傳感器數(shù)據(jù)流，所有四個大型強(qiáng)子對撞機(jī)實驗數(shù)據(jù)流的年速率在復(fù)制前為25 Pb（截至2012年）。復(fù)制之后，這將接近200 Pb。

如果所有傳感器數(shù)據(jù)都記錄在LHC中，數(shù)據(jù)流將很難處理。在復(fù)制之前，數(shù)據(jù)流量每年將超過1.5億Pb，即近500個ebabtests。就數(shù)字而言，這相當(dāng)于每天500字節(jié)（5×1020），幾乎是世界上所有其他數(shù)據(jù)源的200倍。

·平方公里陣列是由數(shù)千根天線組成的射電望遠(yuǎn)鏡。預(yù)計2024年投入使用?？偟膩碚f，這些天線預(yù)計收集14 EB字節(jié)，每天存儲1 Pb字節(jié)，這被認(rèn)為是有史以來最雄心勃勃的科學(xué)項目之一?！ぎ?dāng)斯隆數(shù)字巡天（SDSS）在2000年開始收集天文數(shù)據(jù)時，它在最初的幾周收集的數(shù)據(jù)比以前的天文史上收集的要多。SDSS繼續(xù)以每晚200GB的速度運(yùn)行，積累了超過140tb的信息。當(dāng)SDSS的后繼者，大規(guī)模綜合測量望遠(yuǎn)鏡，在2020年上線時，它的設(shè)計者期望它每五天就能得到這個數(shù)量的數(shù)據(jù)。

解碼人類基因組原本需要10年的時間，現(xiàn)在不到一天就可以完成。在過去的十年里，DNA測序儀已經(jīng)將測序成本降低了10000，這比摩爾定律預(yù)測的要便宜100倍。

大數(shù)據(jù)在科研上的應(yīng)用有哪些？

嚴(yán)格來說，數(shù)據(jù)庫開發(fā)工程和大數(shù)據(jù)開發(fā)不是職業(yè)變動。從技術(shù)角度看，大數(shù)據(jù)開發(fā)需要更深層次的技術(shù)基礎(chǔ)和更廣泛的框架。換言之，轉(zhuǎn)行是對自己事業(yè)的一次飛躍。

1. 從技術(shù)上學(xué)習(xí)非關(guān)系型數(shù)據(jù)庫的使用，了解非關(guān)系型數(shù)據(jù)庫的存儲、查詢和應(yīng)用場景

2。掌握與主流大數(shù)據(jù)相關(guān)的技術(shù)架構(gòu)和主流數(shù)據(jù)庫技術(shù)，如Hadoop、spark、hive、HDFS、HBase等