mapreduce適合用迭代計算嗎？Mapreduce不適合迭代計算(比如機器學習，圖計算等。)、交互處理(數(shù)據(jù)挖掘)和流處理(點擊日志分析)，中間結(jié)果需要保存到磁盤，必然會導致磁盤io操作，影響性能

mapreduce適合用迭代計算嗎？

Mapreduce不適合迭代計算(比如機器學習，圖計算等。)、交互處理(數(shù)據(jù)挖掘)和流處理(點擊日志分析)，中間結(jié)果需要保存到磁盤，必然會導致磁盤io操作，影響性能。

Spark將運算的中間數(shù)據(jù)存儲在內(nèi)存中，使得迭代計算效率更高，更適合重復計算。

在mapreduce作業(yè)中，只有一對M和R，而在spark作業(yè)中，可以有多個M和

mapreduce對數(shù)據(jù)的操作分為？

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行操作。MapReduce主要對數(shù)據(jù)執(zhí)行兩種操作:Map和Reduc

大專生如何學習大數(shù)據(jù)？

目前大數(shù)據(jù)方向的工作主要分為三個主要方向:平臺搭建/優(yōu)化/運維/監(jiān)控、大數(shù)據(jù)開發(fā)/設計/架構(gòu)、數(shù)據(jù)分析/挖掘。

開始使用大數(shù)據(jù)需要學習以下知識點:

編程

Java編程是大數(shù)據(jù)學習的基礎(chǔ)，也是大數(shù)據(jù)工程師最喜歡的編程工具。所以想要學好大數(shù)據(jù)，掌握Java基礎(chǔ)是必不可少的。

命令

大數(shù)據(jù)開發(fā)通常在Linux環(huán)境下進行。如果想從事大數(shù)據(jù)開發(fā)相關(guān)工作，需要掌握Linux的基本操作命令。

3、Hadoop

Hadoop是大數(shù)據(jù)開發(fā)的重要框架，其核心是HDFS和MapReduce。另外需要掌握Hadoop集群，Hadoop集群管理，YARN等等。

4、蜂巢

動物園管理員

6、HBase

7、Redis

8、水槽

9、卡夫卡

10、標量

11、火花

Spark是專門為大規(guī)模數(shù)據(jù)處理設計的快速通用計算引擎，為管理各種數(shù)據(jù)集和數(shù)據(jù)源的大數(shù)據(jù)處理需求提供了全面統(tǒng)一的框架。

等等

相關(guān):大數(shù)據(jù)學習路線指南

嘉米谷大數(shù)據(jù)0基礎(chǔ)培訓班和大數(shù)據(jù)開發(fā)五月班已經(jīng)開課。歡迎預約免費試聽！