產品架構 大數(shù)據(jù)很難學嘛,我轉行想要學習it技術,有大神指點一下嘛?
大數(shù)據(jù)很難學嘛,我轉行想要學習it技術,有大神指點一下嘛?碰巧我有很多大數(shù)據(jù)經驗要分享。大數(shù)據(jù)有幾個入口點:業(yè)務分析工程師、數(shù)據(jù)建模工程師和應用程序開發(fā)工程師。首先是業(yè)務分析工程師需要的技能因為大數(shù)據(jù)
大數(shù)據(jù)很難學嘛,我轉行想要學習it技術,有大神指點一下嘛?
碰巧我有很多大數(shù)據(jù)經驗要分享。
大數(shù)據(jù)有幾個入口點:業(yè)務分析工程師、數(shù)據(jù)建模工程師和應用程序開發(fā)工程師。
首先是業(yè)務分析工程師需要的技能
因為大數(shù)據(jù)是用來產生業(yè)務的,20年前,大數(shù)據(jù)的典型應用場景是商業(yè)智能(BI)
BI是在企業(yè)客戶多年積累的業(yè)務數(shù)據(jù)基礎上進行二次挖掘,提取有意義的分析統(tǒng)計數(shù)據(jù),方便企業(yè)決策者進行決策分析。
業(yè)務分析工程師應熟悉行業(yè)的業(yè)務邏輯,例如電信行業(yè)的復雜業(yè)務邏輯。它涉及到收款系統(tǒng)、票據(jù)生成、綜合業(yè)務臺賬和大客戶業(yè)務。
從業(yè)務邏輯上提出分析主題,讓設計工程師進一步設計系統(tǒng)。
第二,數(shù)據(jù)建模工程師的技能
原來,我們需要Pb、數(shù)據(jù)庫等工具來建立數(shù)據(jù)庫,編寫數(shù)據(jù)倉庫的ETL腳本。
現(xiàn)在進入機器學習和深度學習階段,需要對文本數(shù)據(jù)、音頻數(shù)據(jù)、圖像數(shù)據(jù)等非結構化數(shù)據(jù)進行管理,這比原來的要求要高。
最后,應用程序開發(fā)工程師
應用程序開發(fā)工程師,采用流行的開源框架,編碼好,界面好,數(shù)據(jù)接口好。使用的軟件和框架基本上取決于每個公司繼續(xù)使用什么。一般來說,它已經積累多年,有自己的一套。
以上是我的一份。一言以蔽之,所謂萬時法則,在長期沉浸于一個行業(yè)之后,就可以成為專家,只要你堅持,就能成功
學大數(shù)據(jù)之后能做什么工作?
1. 數(shù)據(jù)挖掘工程師
要做數(shù)據(jù)挖掘,我們需要一定的數(shù)學知識從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律,如線性代數(shù)、高等代數(shù)、凸優(yōu)化、概率論等
PS:常用的語言有python、Java、C或C,有些人用的python或Java更多。有時,MapReduce用于編寫程序,然后Hadoop或Hyp用于處理數(shù)據(jù)。如果使用Python,它將與spark相結合。
2. Hadoop開發(fā)工程師
精通整個Hadoop生態(tài)系統(tǒng)的組件,如紗線、HBase、蜂巢、豬等重要組件,可以實現(xiàn)平臺監(jiān)控和輔助運維系統(tǒng)的開發(fā)。Hadoop工程師主要關注開發(fā)層面,即圍繞大數(shù)據(jù)平臺的系統(tǒng)級研發(fā)人員,精通Hadoop大數(shù)據(jù)平臺的核心框架,能夠使用Hadoop提供的通用算法,
3。數(shù)據(jù)分析員
數(shù)據(jù)分析員是一種數(shù)據(jù)分析員[“det????n],是指從事行業(yè)數(shù)據(jù)收集、整理和分析,并根據(jù)數(shù)據(jù)進行行業(yè)研究、評估和預測的不同行業(yè)的專業(yè)人員。
PS:作為一名數(shù)據(jù)分析師,您至少需要精通SPSS、static、Eviews、SAS等數(shù)據(jù)分析軟件。一個優(yōu)秀的數(shù)據(jù)分析師不應該在業(yè)務、管理、分析、工具和設計方面落后。
4. 大數(shù)據(jù)分析師
流行點,這是集Hadoop開發(fā)工程師和數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師為一體的大人才。如果你能做到所有這些并且有一些經驗,那么薪水就不用說了。
5. 大數(shù)據(jù)可視化工程師
需要獨立熟悉storm、spark等計算框架、Scala/Python語言、java開發(fā)、SSM項目、NoSQL如redis或mongodb、Linux基本操作、java多線程開發(fā)能力、程序設計模式、數(shù)據(jù)庫和ETL流程。
在現(xiàn)代和當代的培訓行業(yè),如果你想賺錢,你必須跟上進步的步伐,踏上新技術的熱潮。