從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會自動刪除嗎？基于receiver的實現(xiàn)將使用kakfa的高級消費API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動作業(yè)來處理

從kafka讀取數(shù)據(jù)后，數(shù)據(jù)會自動刪除嗎？

基于receiver的實現(xiàn)將使用kakfa的高級消費API。與所有其他接收器一樣，接收到的數(shù)據(jù)將保存到執(zhí)行器，然后sparkstreaming將啟動作業(yè)來處理數(shù)據(jù)。

在默認配置中，如果出現(xiàn)故障，此方法將丟失數(shù)據(jù)。為了確保零數(shù)據(jù)丟失，我們需要啟用wal（writeaheadlogs）。它將接收到的數(shù)據(jù)同步保存到分布式文件系統(tǒng)，如HDFS。因此，在發(fā)生錯誤時可以恢復數(shù)據(jù)。

使用兩個步驟：1。添加依賴項：Spark streaming Kafka 2.10-1.3.0

2導入器g.apache.spark. 卡夫卡學習大數(shù)據(jù)技術(shù)需要掌握Scala。

但是，在學習Scala之前，您最好在一定程度上了解java和任何函數(shù)式語言（Haskell、SML等），特別是在您可以在編程范式之間自由切換之后。

Scala不偏向大數(shù)據(jù)方向的科學研究。它被用于許多地方，如火花。

1，JVM基礎(chǔ)，與Java完全兼容。對于堅實的java基礎(chǔ)的學生，學習斯卡拉非常友好！2！在普通工具中，水槽和Hadoop是用java編寫的，Scale和卡夫卡是Scala編寫的。

所以對于想學習大數(shù)據(jù)的學生來說，Scala確實是最受推薦的。

作為一種相對較新的語言，Scala有一個混亂的社區(qū)。在scala社區(qū)中有許多不同的嘗試，主要是Java和Haskell，以及actor和reactive編程。如果你還沒有掌握一個成熟的編程范例，我認為你很可能買不起Scala。！當java編程基礎(chǔ)很好的時候，學習Hadoop系統(tǒng)，然后安排學習Scala，然后學習Scale，卡夫卡等等。這個順序更科學合理，更容易讓大家掌握。

推薦書籍：Scala編程，Scala函數(shù)編程https://www.toutiao.com/i6543924910664712718/

大數(shù)據(jù)中的Scala好掌握嗎，自學可以嗎？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務(wù)器收集日志并將其傳輸?shù)街付ǖ奈恢?，如HDFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數(shù)據(jù)訪問功能。

整個過程如下：

登錄服務(wù)器<--flume-->kafka-->hdfs-->離線計算

登錄服務(wù)器<--flume-->kafka-->storm

希望我的回答能對您有所幫助！