Hive應(yīng)用場景 Hadoop大數(shù)據(jù)框架的發(fā)展歷程?
Hadoop大數(shù)據(jù)框架的發(fā)展歷程?Hadoop的主要發(fā)展歷程:2008年1月,Hadoop成為Apache的頂級項目。2008年6月,Hadoop的第一個SQL框架Hive成為Hadoop的子項目。2
Hadoop大數(shù)據(jù)框架的發(fā)展歷程?
Hadoop的主要發(fā)展歷程:
2008年1月,Hadoop成為Apache的頂級項目。
2008年6月,Hadoop的第一個SQL框架Hive成為Hadoop的子項目。
2009年7月,MapReduce和Hadoop分布式文件系統(tǒng)(HDFS)成為Hadoop項目的獨立子項目。
2009年7月,Avro和Chukwa成為Hadoop新的子項目。
2010年5月,Avro脫離Hadoop項目,成為Apache的頂級項目。
2010年5月,HBase脫離Hadoop項目,成為Apache的頂級項目。
2010年9月,Hive脫離Hadoop,成為Apache的頂級項目。
2010年9月,Pig脫離Hadoop,成為Apache的頂級項目。
2010 -2011年,擴展后的Hadoop社區(qū)忙于構(gòu)建大量新組件(Crunch、Sqoop、Flume、Oozie等。)來拓展Hadoop的使用場景和可用性。
2011年1月,ZooKeeper脫離Hadoop,成為Apache的頂級項目。
2011年12月,Hadoop 1 . 0 . 0版本發(fā)布,標(biāo)志著Hadoop在生產(chǎn)上已經(jīng)初具規(guī)模。
2012年5月,Hadoop版本2.0.0-alpha發(fā)布,這是Hadoop-2.x系列的第一個版本(alpha)。相比之前的Hadoop-1.x系列,Hadoop-2.x版本中加入了YARN,YARN成為了Hadoop的一個子項目。
2012年10月,Impala加入Hadoop生態(tài)系統(tǒng)。
2013年10月,Hadoop 2 . 0 . 0版本發(fā)布,標(biāo)志著Hadoop正式進入MapReduce v2.0時代。
2014年2月,Spark開始取代MapReduce成為Hadoop的默認(rèn)執(zhí)行引擎,成為Apach
大數(shù)據(jù)很難學(xué)嘛,我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù),有大神指點一下嘛?
作為一名教育工作者,我也是大數(shù)據(jù)方向的研究生。我來回答這個問題。
首先,大數(shù)據(jù)的知識體系依然龐大,不僅知識量大,而且有一定的難度。所以,我并不渴望學(xué)習(xí)。想有更好的學(xué)習(xí)體驗,就要注重學(xué)習(xí)的系統(tǒng)性,給自己創(chuàng)造更好的交流和實踐場景。
大數(shù)據(jù)專業(yè)是一個新專業(yè)。到目前為止,只有兩組本科生進入就業(yè)市場,整體就業(yè)表現(xiàn)良好。在大數(shù)據(jù)領(lǐng)域,不僅工作崗位多,薪資也相當(dāng)可觀。很多畢業(yè)生畢業(yè)的時候會拿到多個offer,選擇空間還是比較大的。與本科生相比,研究生的就業(yè)表現(xiàn)更為突出。很多同學(xué)能進一線工廠,崗位主要集中在開發(fā)崗和算法崗。
學(xué)習(xí)大數(shù)據(jù)要結(jié)合自身的知識基礎(chǔ)和發(fā)展規(guī)劃。對于本科生來說,可以側(cè)重發(fā)展方向。一方面是開發(fā)方向的崗位多,另一方面是開發(fā)崗位的競爭并不激烈,開發(fā)崗位的人才需求類型也是多元化的。如果選擇開發(fā)方向的話,要注重編程語言的學(xué)習(xí),以及大數(shù)據(jù)平臺的相關(guān)知識,這樣才能在基于大數(shù)據(jù)平臺的行業(yè)場景中完成一些開發(fā)任務(wù)。
如果你有很好的數(shù)學(xué)和統(tǒng)計基礎(chǔ),也可以考慮往算法崗方向發(fā)展。相比開發(fā)崗,算法崗競爭激烈,你要有更多的積累。根據(jù)歷史經(jīng)驗,如果有研究生學(xué)歷,會更適合往算法崗方向發(fā)展,就業(yè)競爭力更強。
大數(shù)據(jù)整體學(xué)習(xí)周期比較長。在學(xué)習(xí)的過程中,一定要注重實踐。大數(shù)據(jù)技術(shù)入門后,建議先找實習(xí)崗位,這樣也會給自己營造一個交流和實踐的場景。
本人從事教育科研多年。目前我是一名計算機專業(yè)的研究生。我的主要研究方向是大數(shù)據(jù)和人工智能。我會陸續(xù)寫一些互聯(lián)網(wǎng)技術(shù)方面的文章,有興趣的朋友可以關(guān)注我。相信會有所收獲。
如果你對互聯(lián)網(wǎng),大數(shù)據(jù),人工智能,或者考研有問題,可以私信我!