etl工具 分布式任務(wù)調(diào)度框架選型,如何選擇一個合適的框架?
分布式任務(wù)調(diào)度框架選型,如何選擇一個合適的框架?首先,這樣一個框架現(xiàn)在已經(jīng)上市了。強(qiáng)烈建議不要重復(fù)制造車輪。首先,我們將介紹幾種主流技術(shù)。Elastic job是當(dāng)當(dāng)網(wǎng)的開源分布式調(diào)度解決方案。它支持
分布式任務(wù)調(diào)度框架選型,如何選擇一個合適的框架?
首先,這樣一個框架現(xiàn)在已經(jīng)上市了。強(qiáng)烈建議不要重復(fù)制造車輪。
首先,我們將介紹幾種主流技術(shù)。
Elastic job是當(dāng)當(dāng)網(wǎng)的開源分布式調(diào)度解決方案。它支持任務(wù)碎片化,能夠充分利用資源。Elastic job有兩個獨(dú)立的子項目:Elastic job lite和Elastic job cloud。具體實現(xiàn)可以參考官方教程??傮w架構(gòu)如下。
彈性工作的特點(diǎn):1。分布式調(diào)度。高可用性工作。切片任務(wù)執(zhí)行。
此外,還有其他可用于比較的框架。例如TBSchedule是阿里巴巴的一個開源分布式調(diào)度框架,完全由Java實現(xiàn),目前正在淘寶、阿里巴巴、支付寶、京東、汽車之家等應(yīng)用。公開評論的開源XXL作業(yè)也是一種廣泛使用的分布式調(diào)度任務(wù)。
目前,我已經(jīng)使用彈性工作和XXL工作。兩個功能都非常強(qiáng)大,后臺管理也比較完善。開始很容易。能滿足日常工作的需要。區(qū)別在于彈性作業(yè)依賴于ZK,而XXL作業(yè)不依賴于ZK,只依賴于數(shù)據(jù)庫。
目前市場上應(yīng)該還有一些其他的框架,但是以上都是比較主流的,你可以根據(jù)自己的需要來選擇。記住不要反復(fù)造輪子。這需要很多時間來驗證。它會讓你遠(yuǎn)離深淵。
謝謝。我希望它能幫助你。如果你有什么問題,可以留言。我們一起討論吧
Golang真的好用嗎?
我最近剛結(jié)束圍棋。我有點(diǎn)上癮了。我已經(jīng)做了10年javaer了。讓我們談?wù)勎覀€人對這三種語言的理解。Go語言有幾個獨(dú)特的特性,完美的支持跨平臺并發(fā)的垃圾收集,編譯速度快。所以Go有很多優(yōu)點(diǎn)。未來的許多應(yīng)用程序都傾向于去,尤其是它的協(xié)同程序概念,它釋放了多核處理器的能力。我對未來的發(fā)展持樂觀態(tài)度。當(dāng)然,Java有一個非常完整的生態(tài)系統(tǒng)。目前,構(gòu)建大規(guī)模復(fù)雜系統(tǒng)是必不可少的。很多大數(shù)據(jù)框架都是基于Java的Java.python文件那爬蟲呢,機(jī)器學(xué)習(xí),人工智能領(lǐng)域有很多成熟的框架庫,如果從事機(jī)器學(xué)習(xí),也要向他學(xué)習(xí)