日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。簡而言之，flume是一個分布式日志

日志采集系統(tǒng)flume和kafka有什么區(qū)別及聯(lián)系？

flume和Kafka的一些功能是相同的，但總的來說，它們是完全不同的；它們的場景是不同的，但它們可以一起使用。

簡而言之，flume是一個分布式日志收集系統(tǒng)，它從各種服務器收集日志并將其傳輸?shù)街付ǖ奈恢茫鏗DFS。

Kafka是一個分布式消息中間件，有自己的存儲，提供推拉數(shù)據(jù)訪問功能。

整個過程如下：

登錄服務器<--flume-->kafka-->hdfs-->離線計算

登錄服務器<--flume-->kafka-->storm

希望我的回答能對您有所幫助

如何設計一個MQ消息隊列？

1. 在上圖中定義消息發(fā)送和消耗的過程

2。為消息定義消息協(xié)議，如ActiveMQ、stomp、XMPP等。定義消息協(xié)議，定義消息隊列需要滿足的場景

是否要保證消息的可靠性，必要時要保證存儲的高可用性

是否支持同步和異步消息

是否要保證消息的順序

是否需要延遲消息要支持

很多開源的實現(xiàn)功能可以參考詳細信息。例如，rocketmq是高度可靠的，Kafka是高吞吐量的，但不是高度可靠的。

如何使用消息隊列解決分布式事務？

有兩種選擇。

Scheme 1 Local message transaction table

生產(chǎn)者需要添加一個事務消息表。具體步驟如下：[1。生產(chǎn)者執(zhí)行業(yè)務邏輯并將事務記錄插入到消息表中。這兩個操作在一個本地事務中

2。啟動后臺線程定期輪詢消息表并將消息發(fā)送到消息隊列

3。刪除消息表中的消息，直到發(fā)送成功。

方案2需要消息隊列支持，業(yè)務端提供回溯接口

1。生產(chǎn)端將準備好的消息發(fā)送到消息隊列

2。在本地事務中，業(yè)務邏輯

3。根據(jù)執(zhí)行結果確認或取消準備好的消息

4。消息隊列將確保準備好的消息被確認或取消，并且消息隊列將不斷地向生產(chǎn)端請求執(zhí)行結果，這要求生產(chǎn)端提供類似的回調函數(shù)。

在方案2中，消息隊列取代了方案1中的消息表和后臺線程輪詢功能，但并非所有消息隊列都支持此功能。支持Rocketmq。

方案1的開發(fā)工作量大，外部依賴性小

方案2的開發(fā)工作量小，但依賴于特定的消息隊列。

kafka延遲隊列如何實現(xiàn)？