如何獲取kafka某一topic中最新的offset？如果您使用的是0.9或更高版本，則可以使用最新的客戶機(jī)消費(fèi)者.seekToEnd() / 消費(fèi)者地位（）可用于獲取最新偏移量：${日志.dirs

如何獲取kafka某一topic中最新的offset？

如果您使用的是0.9或更高版本，則可以使用最新的客戶機(jī)消費(fèi)者.seekToEnd() / 消費(fèi)者地位（）可用于獲取最新偏移量：${日志.dirs}/復(fù)制偏移量檢查點(diǎn)

我來這里玩的時候，我什么都沒做。我開始在各種網(wǎng)絡(luò)上尋找技術(shù)信息，然后我把重點(diǎn)放在標(biāo)題上。從尋找信息到交朋友。因?yàn)槲矣X得事情落后于時代，有人認(rèn)為，是因?yàn)樽约核讲桓?。只是在心里想，無法實(shí)現(xiàn)現(xiàn)實(shí)

JAVA面試如何保證消息不被重復(fù)消費(fèi)？如何保證消息消費(fèi)的冪等性？

請參閱文檔https://pykafka.readthedocs.io/en/latest/index.html

如何利用pykafka遠(yuǎn)程消費(fèi)zookeeper kafka集群python腳本？

有兩種選擇。

Scheme 1 Local message transaction table

生產(chǎn)者需要添加一個事務(wù)消息表。具體步驟如下：[1。生產(chǎn)者執(zhí)行業(yè)務(wù)邏輯并將事務(wù)記錄插入到消息表中。這兩個操作在一個本地事務(wù)中

2。啟動后臺線程定期輪詢消息表并將消息發(fā)送到消息隊(duì)列

3。刪除消息表中的消息，直到發(fā)送成功。

方案2需要消息隊(duì)列支持，業(yè)務(wù)端提供回溯接口

1。生產(chǎn)端將準(zhǔn)備好的消息發(fā)送到消息隊(duì)列

2。在本地事務(wù)中，業(yè)務(wù)邏輯

3。根據(jù)執(zhí)行結(jié)果確認(rèn)或取消準(zhǔn)備好的消息

4。消息隊(duì)列將確保準(zhǔn)備好的消息被確認(rèn)或取消，并且消息隊(duì)列將不斷地向生產(chǎn)端請求執(zhí)行結(jié)果，這要求生產(chǎn)端提供類似的回調(diào)函數(shù)。

在方案2中，消息隊(duì)列取代了方案1中的消息表和后臺線程輪詢功能，但并非所有消息隊(duì)列都支持此功能。支持Rocketmq。

方案1的開發(fā)工作量大，外部依賴性小

方案2的開發(fā)工作量小，但依賴于特定的消息隊(duì)列。