從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會自動刪除嗎？基于receiver的實現(xiàn)將使用kakfa的高級消費API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動作業(yè)來處理

從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會自動刪除嗎？

基于receiver的實現(xiàn)將使用kakfa的高級消費API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動作業(yè)來處理數(shù)據(jù)。

在默認配置中，如果出現(xiàn)故障，此方法將丟失數(shù)據(jù)。為了確保零數(shù)據(jù)丟失，我們需要啟用wal（writeaheadlogs）。它將接收到的數(shù)據(jù)同步保存到分布式文件系統(tǒng)，如HDFS。因此，在發(fā)生錯誤時可以恢復(fù)數(shù)據(jù)。

使用兩個步驟：1。添加依賴項：Spark streaming Kafka 2.10-1.3.0

2導(dǎo)入器g.apache.spark. 卡夫卡.

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka有些功能是一樣的，但總的來說，它們有很大的不同；它們的場景不同，但可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數(shù)據(jù)訪問功能。

整個過程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對您有所幫助！