如何學(xué)習(xí)大數(shù)據(jù)處理？大數(shù)據(jù)的學(xué)習(xí)，最難的那是入門，如果沒(méi)有傳智播客給到學(xué)生建議您的話，那就是好好的學(xué)習(xí)sql，要能非常熟練不使用，另外多學(xué)習(xí)大數(shù)據(jù)處理的去相關(guān)思想；下面給有要的小伙伴羅列一個(gè)2019年

如何學(xué)習(xí)大數(shù)據(jù)處理？

大數(shù)據(jù)的學(xué)習(xí)，最難的那是入門，如果沒(méi)有傳智播客給到學(xué)生建議您的話，那就是好好的學(xué)習(xí)sql，要能非常熟練不使用，另外多學(xué)習(xí)大數(shù)據(jù)處理的去相關(guān)思想；下面給有要的小伙伴羅列一個(gè)2019年全套的大數(shù)據(jù)學(xué)路線圖：

大數(shù)據(jù)處理咨詢技術(shù)，所不需要掌握到的是Java語(yǔ)言和Linux操作系統(tǒng)。這兩個(gè)是基礎(chǔ)，學(xué)習(xí)順序的話不分先后。技術(shù)方面最方便的學(xué)習(xí)路徑是然后去學(xué)習(xí)相關(guān)的高端點(diǎn)框架。很多人提起框架的話，可能會(huì)總覺(jué)得沒(méi)法。當(dāng)然我們?nèi)绻侵雷稍兛蚣艿膬?nèi)部函數(shù)方法，是會(huì)很快太多了。

Hadoop：

在接近hadoop之前，大家必須有肯定會(huì)的Java基礎(chǔ)。這一點(diǎn)給自學(xué)的小伙伴提出來(lái)的建議是首先學(xué)習(xí)Linux，后再學(xué)adoop的生態(tài)系統(tǒng)。在去學(xué)習(xí)Hadoop的第一個(gè)階段應(yīng)該是可以比較熟練的堆建偽分布式集群在內(nèi)幾乎分布式集群。也就是先讓hadoop的環(huán)境搭建起來(lái)，能正常運(yùn)行wordcount程序，我們才可以接下來(lái)的事情的分析hadoop生態(tài)系統(tǒng)。

Zookeeper：

可以不稱之為萬(wàn)金油，安裝Hadoop的HA的時(shí)候會(huì)用到它。之前去學(xué)Hbase的話也會(huì)會(huì)用到。好象是相互協(xié)作的信息。

Mysql：

我們?nèi)W(xué)習(xí)完大數(shù)據(jù)的處理，下面那就是要學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫(kù)。因?yàn)檠bhive的時(shí)候會(huì)會(huì)用到。那就mysql需要手中掌握什么呢，那是我們是可以Linux上把它裝完，運(yùn)行過(guò)來(lái)。要學(xué)會(huì)配置簡(jiǎn)單增刪改查，如何修改root的密碼，創(chuàng)建家族數(shù)據(jù)庫(kù)。主要注意是自學(xué)語(yǔ)法。

下一步的知識(shí)點(diǎn)我就不全部形態(tài)各異的奇石了，我們?cè)诿總€(gè)階段怎么學(xué)習(xí)結(jié)束了后，都要明白的知道自己有沒(méi)有什么極度缺乏。那你也可以聽(tīng)從下圖來(lái)測(cè)定自己的知識(shí)點(diǎn)是否是掌握清晰：

平臺(tái)組件是什么？

平臺(tái)組件乾坤二卦100元以內(nèi)內(nèi)容:

民間關(guān)系型數(shù)據(jù)庫(kù)，為Hive、Hue、Spark組件可以提供元數(shù)據(jù)存儲(chǔ)服務(wù)。

2.Elasticsearch

兼有搜索引擎和NoSQL數(shù)據(jù)庫(kù)功能的開(kāi)放源代碼系統(tǒng)，基于組件JAVA/Lucene最終形成，閉源、分布式、意見(jiàn)RESTful請(qǐng)求。

3.Flink

一個(gè)批處理和流全面處理特點(diǎn)的統(tǒng)一計(jì)算框架，提供給數(shù)據(jù)全部分和并行化換算的流數(shù)據(jù)處理引擎。

4.Flume

一個(gè)分布式、比較可靠和高可用的海量的資源日志凝合系統(tǒng)，接受在系統(tǒng)中訂制各形數(shù)據(jù)正在發(fā)送方，應(yīng)用于收集數(shù)據(jù)；

同樣的，F(xiàn)lume提供對(duì)數(shù)據(jù)參與簡(jiǎn)單的去處理，并寫入各種數(shù)據(jù)得到方(可個(gè)性定制)的能力。

5.HBase

提供給海量數(shù)據(jù)存儲(chǔ)功能，是奇異構(gòu)建在HDFS之上的分布式、再朝列的存儲(chǔ)系統(tǒng)。HDFSHadoop分布式文件系統(tǒng)能提供高吞吐量的數(shù)據(jù)訪問(wèn)，合適大規(guī)模數(shù)據(jù)集方面的應(yīng)用。

成立在Hadoop基礎(chǔ)上的開(kāi)源的數(shù)據(jù)倉(cāng)庫(kù)，可以提供的的SQL的Hive Query Language語(yǔ)言操作結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)服務(wù)和基本的數(shù)據(jù)分析服務(wù)。

能提供了圖形化用戶Web界面。Hue支持展示更多多種組件，目前允許HDFS、Hive、YARN/Mapreduce、Oozie、Solr、ZooKeeper。

8.Kafka

一個(gè)分布式的、分區(qū)的、多副本的實(shí)時(shí)動(dòng)態(tài)消息發(fā)布和訂閱系統(tǒng)。能提供可擴(kuò)展、高吞吐、更低延遲、超高可靠性的消息清點(diǎn)交接服務(wù)。

9.Sqoop

實(shí)現(xiàn)與關(guān)系型數(shù)據(jù)庫(kù)、文件系統(tǒng)之間收集數(shù)據(jù)和文件的數(shù)據(jù)加載工具；而提供REST API接口，供第三方調(diào)度平臺(tái)動(dòng)態(tài)鏈接庫(kù)。

提供飛速并行處理大量數(shù)據(jù)的能力，是一種分布式數(shù)據(jù)處理模式和執(zhí)行環(huán)境。

11.Oozie

提供了對(duì)開(kāi)源Hadoop組件的任務(wù)編排、先執(zhí)行的功能。以JavaWeb應(yīng)用程序的形式運(yùn)行在Javaservlet容器(如：Tomcat)中，并在用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)工作流定義、當(dāng)前運(yùn)行的工作流實(shí)例(含實(shí)例的狀態(tài)和變量)。

一個(gè)開(kāi)源的、集高性能的key-value分布式存儲(chǔ)數(shù)據(jù)庫(kù)，允許極為豐富的數(shù)據(jù)類型，補(bǔ)充了memcached這類key-value存儲(chǔ)的不足，滿足的條件實(shí)時(shí)自動(dòng)的高并發(fā)需求。

可以提供小文件后臺(tái)合并功能，能自動(dòng)出現(xiàn)發(fā)現(xiàn)系統(tǒng)中的小文件(是從文件大小閾值可以確定)，在閑時(shí)并且合并，并把元數(shù)據(jù)存儲(chǔ)到本地的LevelDB中，來(lái)降底NameNode壓力，同時(shí)可以提供新的FileSystem接口，讓用戶能夠透明的的對(duì)這些小文件接受訪問(wèn)。

一個(gè)更高性能，實(shí)現(xiàn)Lucene的全文檢索服務(wù)器。Spark設(shè)計(jì)和實(shí)現(xiàn)內(nèi)存通過(guò)可以計(jì)算的分布式計(jì)算框架。

需要提供分布式、更高性能、高可靠、寬容失敗的實(shí)時(shí)計(jì)算平臺(tái)，可以對(duì)海量數(shù)據(jù)并且實(shí)時(shí)地全面處理。CQL提供的類SQL流處理語(yǔ)言，這個(gè)可以飛快并且業(yè)務(wù)開(kāi)發(fā)，時(shí)間縮短業(yè)務(wù)上線時(shí)間。

16.Yarn

資源管理系統(tǒng)，它是一個(gè)沒(méi)限制的資源模塊，是可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度。

17.ZooKeeper

提供分布式、高可用性的協(xié)調(diào)服務(wù)能力。幫系統(tǒng)盡量的避免網(wǎng)絡(luò)分區(qū)，最終達(dá)到成立比較可靠的應(yīng)用程序。