大數(shù)據(jù)包括什么？大數(shù)據(jù)技術(shù)龐大而復(fù)雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等技術(shù)類別和不同技術(shù)層次。大數(shù)據(jù)主要技術(shù)組件:Hadoop、H

大數(shù)據(jù)包括什么？

大數(shù)據(jù)技術(shù)龐大而復(fù)雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、NoSQL數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等技術(shù)類別和不同技術(shù)層次。

大數(shù)據(jù)主要技術(shù)組件:Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark、Storm、Flink等。

大數(shù)據(jù)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)可視化、數(shù)據(jù)安全等。數(shù)據(jù)收集包括傳感器收集、系統(tǒng)日志收集和網(wǎng)絡(luò)爬蟲。數(shù)據(jù)管理包括傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)、nosql技術(shù)，以及針對(duì)大規(guī)模數(shù)據(jù)的大數(shù)據(jù)平臺(tái)，如hadoop、spark、storm等。數(shù)據(jù)分析的核心是機(jī)器學(xué)習(xí)，當(dāng)然包括深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，還有自然語言處理、圖形和網(wǎng)絡(luò)分析。