大數(shù)據(jù)開發(fā)是什么工作?
網(wǎng)友解答: 大數(shù)據(jù)方面有很多的技術(shù):一是大數(shù)據(jù)平臺本身,一般是基于某些Hadoop產(chǎn)品如CDH的產(chǎn)品部署后提供服務。部署的產(chǎn)品里面有很多的組件,如HIVE、HBASE、SPARK、ZOO
大數(shù)據(jù)方面有很多的技術(shù):
一是大數(shù)據(jù)平臺本身,一般是基于某些Hadoop產(chǎn)品如CDH的產(chǎn)品部署后提供服務。部署的產(chǎn)品里面有很多的組件,如HIVE、HBASE、SPARK、ZOOKEEPER等,一般都是基于Java的;
二是ETL,即數(shù)據(jù)抽取過程;大數(shù)據(jù)平臺中的原始數(shù)據(jù)一般是來源于公司內(nèi)的其它業(yè)務系統(tǒng),如銀行里面的信貸、核心等,這些業(yè)務系統(tǒng)的數(shù)據(jù)每天會從業(yè)務系統(tǒng)抽取到大數(shù)據(jù)平臺中,然后進行一系列的標準化、清理等操作,再然后經(jīng)過一些建模生成一些模型給下游系統(tǒng)使用; ETL一般對應有一個調(diào)度平臺,一般是Java等技術(shù)實現(xiàn)的,基于Kettle進行封裝;因此在ETL過程中有以下工作:一是調(diào)度平臺的開發(fā)(也可以是產(chǎn)品部署);二是ETL過程中需要使用到的一些Shell腳本的開發(fā);三是ETL及建模過程中調(diào)用的一些SQL過程的開發(fā);當然也還有模型的設(shè)計等較為高級的工作;
三就是數(shù)據(jù)分析了;在數(shù)據(jù)收集完成后基于這些數(shù)據(jù)要做一些什么樣的處理,典型的如報表應用,那每天可能就是寫SQL開發(fā)報表了;還有一些如風險監(jiān)測等平臺,都要基于大數(shù)據(jù)平臺收集的數(shù)據(jù)來進行處理;更往上就是一些如客戶行為預測分析等分析場景,這個時候就需要使用一些更加專業(yè)的數(shù)據(jù)分析工具如SAS或者其它的一些更加高級的語言如Python、R語言等來進行數(shù)據(jù)挖掘及分析了。
你所說的大數(shù)據(jù)平臺開發(fā),需要明確到底是哪方面的開發(fā)才能做進一步的解答。
網(wǎng)友解答:大數(shù)據(jù)開發(fā)是大數(shù)據(jù)職業(yè)發(fā)展的方向之一,另一方面是大數(shù)據(jù)分析。從工作內(nèi)容,主要負責大數(shù)據(jù)的大數(shù)據(jù)挖掘,數(shù)據(jù)清洗的發(fā)展,數(shù)據(jù)建模工作,主要負責處理和大數(shù)據(jù)應用,主要在發(fā)展工作,結(jié)合大數(shù)據(jù)可視化分析工程師,挖掘出價值的數(shù)據(jù),為企業(yè)提供業(yè)務發(fā)展支持。
這里還是要推薦下小編的大數(shù)據(jù)學習群:532218147,不管你是小白還是大牛,小編我都歡迎,不定期分享干貨,包括小編自己整理的一份2017最新的大數(shù)據(jù)資料和0基礎(chǔ)入門教程,歡迎初學和進階中的小伙伴。在不忙的時間我會給解答
了解大數(shù)據(jù)開發(fā)是什么,如果您想從事大型數(shù)據(jù)開發(fā)工作,需要學習什么?。
讓我們用光環(huán)大數(shù)據(jù)開發(fā)課程的例子來舉例說明。
1階段:JavaSE開發(fā)
階段二:JavaEE開發(fā)
第三階段:并發(fā)編程的實戰(zhàn)開發(fā)
第四階段:Linux的精彩對話
第五階段:Hadoop生態(tài)系統(tǒng)
第六階段:Python實際開發(fā)
第七階段:風暴實時發(fā)展
第八階段:星火生態(tài)系統(tǒng)
階段九:Elasticsearch
十階段:Docker容器引擎
第十一階段:機器學習
階段十二:超級集群優(yōu)化
第十三階段:大型數(shù)據(jù)項目實戰(zhàn)
總結(jié)以上課程內(nèi)容。大數(shù)據(jù)的發(fā)展需要java,linxu,數(shù)據(jù)庫,Hadoop,Spark,風暴,Python,Elasticsearch知識、碼頭等。
目前,大數(shù)據(jù)通道的學習主要是通過參與大數(shù)據(jù)的訓練,因為大數(shù)據(jù)的技術(shù)門檻很高,一般很難通過自學來學習。
最后,什么樣的工作可以從事大數(shù)據(jù)的開發(fā)?:
1、Hadoop開發(fā)工程師
2。數(shù)據(jù)挖掘工程師
三.專業(yè)的數(shù)據(jù)科學家
4。首席數(shù)據(jù)官(CDO)
5.etl的研究與開發(fā)
6發(fā)展。大數(shù)據(jù)信息體系結(jié)構(gòu)
7。數(shù)據(jù)倉庫的研究
8.olap發(fā)展
9。重大數(shù)據(jù)安全研究
通過上面的介紹,我們可以了解大數(shù)據(jù)開發(fā)的概念以及大數(shù)據(jù)開發(fā)的學習內(nèi)容,以及大數(shù)據(jù)開發(fā)具體工作崗位,對于大數(shù)據(jù)開發(fā)有了一個全面的了解,對于想要了解更多的大數(shù)據(jù)開發(fā)培訓的信息,可以去光環(huán)大數(shù)據(jù)官網(wǎng)了解。