搞大數(shù)據(jù)，JAVA工程師需要掌握哪些知識？目前很多大數(shù)據(jù)都是指Hadoop，企業(yè)最常用的大數(shù)據(jù)工具就是Hadoop。Java作為學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，很多組件都是用Java語言或JVM運(yùn)行的。所以當(dāng)你熟練

搞大數(shù)據(jù)，JAVA工程師需要掌握哪些知識？

目前很多大數(shù)據(jù)都是指Hadoop，企業(yè)最常用的大數(shù)據(jù)工具就是Hadoop。Java作為學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，很多組件都是用Java語言或JVM運(yùn)行的。所以當(dāng)你熟練使用Java，具備了轉(zhuǎn)大數(shù)據(jù)的基本條件后，下一步就是學(xué)習(xí)知識和技術(shù)。

Hadoop主要包括三個(gè)部分，HDFS、MapReduce和yarn都需要深入學(xué)習(xí)，因?yàn)槊嬖囍锌赡軙?huì)問一些原則性的問題。

Hadoop生態(tài)系統(tǒng)的重要組件，如hive（離線）、HBase、spark（實(shí)時(shí)，實(shí)時(shí)框架包括spark、storm、Flink等，您可以選擇其中一個(gè)進(jìn)行學(xué)習(xí)）。這些重要的組件需要深入系統(tǒng)的學(xué)習(xí)，也是最適合在大數(shù)據(jù)中使用的組件。

Kafka、flume、sqoop等Hadoop生態(tài)系統(tǒng)的重要工具，以及Azkaban等調(diào)度工作，在日常工作中不可或缺。

當(dāng)然，在學(xué)習(xí)了以上相關(guān)知識和技術(shù)之后，最重要的是要學(xué)會(huì)如何運(yùn)用實(shí)際項(xiàng)目。另外，你最好看看別人的優(yōu)秀源代碼來提高自己。來吧。