分布式架構(gòu) 如何使用消息隊(duì)列解決分布式事務(wù)?
如何使用消息隊(duì)列解決分布式事務(wù)?有兩種選擇。Scheme 1 Local message transaction table生產(chǎn)者需要添加一個(gè)事務(wù)消息表。具體步驟如下:[1。生產(chǎn)者執(zhí)行業(yè)務(wù)邏輯并將事務(wù)
如何使用消息隊(duì)列解決分布式事務(wù)?
有兩種選擇。
Scheme 1 Local message transaction table
生產(chǎn)者需要添加一個(gè)事務(wù)消息表。具體步驟如下:[1。生產(chǎn)者執(zhí)行業(yè)務(wù)邏輯并將事務(wù)記錄插入到消息表中。這兩個(gè)操作在一個(gè)本地事務(wù)中
2。啟動后臺線程定期輪詢消息表并將消息發(fā)送到消息隊(duì)列
3。刪除消息表中的消息,直到發(fā)送成功。
方案2需要消息隊(duì)列支持,業(yè)務(wù)端提供回溯接口
1。生產(chǎn)端將準(zhǔn)備好的消息發(fā)送到消息隊(duì)列
2。在本地事務(wù)中,業(yè)務(wù)邏輯
3。根據(jù)執(zhí)行結(jié)果確認(rèn)或取消準(zhǔn)備好的消息
4。消息隊(duì)列將確保準(zhǔn)備好的消息被確認(rèn)或取消,并且消息隊(duì)列將不斷地向生產(chǎn)端請求執(zhí)行結(jié)果,這要求生產(chǎn)端提供類似的回調(diào)函數(shù)。
在方案2中,消息隊(duì)列取代了方案1中的消息表和后臺線程輪詢功能,但并非所有消息隊(duì)列都支持此功能。支持Rocketmq。
方案1的開發(fā)工作量大,外部依賴性小
方案2的開發(fā)工作量小,但依賴于特定的消息隊(duì)列。
何時(shí)使用分布式消息隊(duì)列?
據(jù)我所知,消息隊(duì)列目前有幾種用途。
1. 消除峰值并控制流量
例如,在這種情況下,今天標(biāo)題中的百萬個(gè)答案需要在完成后寫入數(shù)據(jù)庫。雖然你的MySQL只允許你以每秒300的速度寫,但是消息隊(duì)列是一個(gè)很好的方法。離線計(jì)算
日志分析,圖像處理,這些都屬于這類應(yīng)用。
例如,您希望能夠根據(jù)網(wǎng)站的日志進(jìn)行監(jiān)視。此時(shí),在不影響web服務(wù)的情況下,可以通過消息隊(duì)列定期發(fā)送日志流
3。解耦
想象一個(gè)用戶上傳圖片的服務(wù)。用戶只想上傳到空間,但需要添加水印。如果同時(shí)添加水印和用戶記錄,速度會非常慢。因此,通常的方法是web服務(wù)接受圖像并通過消息隊(duì)列將其轉(zhuǎn)發(fā)給水印服務(wù)。web服務(wù)本身不會阻止。
您所說的分布式隊(duì)列只是為了適應(yīng)高吞吐量消息隊(duì)列的優(yōu)化實(shí)現(xiàn)。
golang有什么比較好得分布式任務(wù)隊(duì)列,類似Python的celery?
機(jī)械是基于分布式消息傳遞的異步任務(wù)隊(duì)列/作業(yè)隊(duì)列。