spark怎么處理kafka中的json的數(shù)據(jù)？構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，part

spark怎么處理kafka中的json的數(shù)據(jù)？

構(gòu)造函數(shù)是KafkaUtils.createDstream創(chuàng)建（SSC，[ZK]，[consumer group ID]，[per topic，partitions]）使用Kafka高級使用者API使用接收器接收數(shù)據(jù)。對于所有接收器，接收到的數(shù)據(jù)將保存在spark執(zhí)行器中，然后通過spark流啟動一個作業(yè)來處理這些數(shù)據(jù)。默認(rèn)情況下，它將丟失。您可以啟用存儲在HDFS上的wal日志

首先，讓我們知道RDD是什么。

RDD是一組分布式對象，本質(zhì)上是一組只讀分區(qū)記錄。

以便在群集中的不同節(jié)點上執(zhí)行并行計算。

也就是說，RDD是一組只讀記錄分區(qū)，不能直接修改。它只能基于穩(wěn)定物理存儲中的數(shù)據(jù)集創(chuàng)建，或者通過在其他RDD上執(zhí)行某些轉(zhuǎn)換操作（如map、join和groupby）來創(chuàng)建。

RDD提供了一組豐富的操作來支持常見的數(shù)據(jù)操作，這些操作分為兩種類型：操作和轉(zhuǎn)換。前者用于執(zhí)行計算并指定輸出形式，后者指定RDD之間的相互依賴關(guān)系。

（如計數(shù)、收集等）接受RDD，但返回非RDD（即輸出值或結(jié)果）。

分區(qū)可以由

new sparkconext（new sparkconf）指定。并行化（）