Hadoop支持用python開(kāi)發(fā)嗎？還有哪些支持python的分布式計(jì)算系統(tǒng)框架？Hadoop支持python。我的理解是，任務(wù)通過(guò)yarn分配到工作節(jié)點(diǎn)，并通過(guò)shell調(diào)用。這種方法比原生Mr速

Hadoop支持用python開(kāi)發(fā)嗎？還有哪些支持python的分布式計(jì)算系統(tǒng)框架？

Hadoop支持python。我的理解是，任務(wù)通過(guò)yarn分配到工作節(jié)點(diǎn)，并通過(guò)shell調(diào)用。這種方法比原生Mr速度慢，因此沒(méi)有得到廣泛的應(yīng)用。

Spark應(yīng)該是Python的友好框架。要說(shuō)缺點(diǎn)，畢竟是Scala或Java風(fēng)格的API，這對(duì)于Python是不夠的。在使用了panda和numpy之后，我覺(jué)得spark的API是比較基本的。

此外，python建議您學(xué)習(xí)dask和芹菜。Dask基于numpy和panda進(jìn)行封裝，兼容大多數(shù)NP和PD接口。它還支持分布式和可視化界面?？偟膩?lái)說(shuō)，這是個(gè)不錯(cuò)的選擇。

作為一個(gè)分布式任務(wù)調(diào)度框架，cellery并不是專(zhuān)門(mén)為ETL設(shè)計(jì)的，所以它的性能比dask差。但我覺(jué)得作為一個(gè)生產(chǎn)體系，芹菜比較穩(wěn)定。

從事python后端需要學(xué)什么技術(shù)？

對(duì)于Python學(xué)習(xí)者來(lái)說(shuō)，他們需要掌握以下技術(shù)

網(wǎng)絡(luò)編程。網(wǎng)絡(luò)編程在生活和發(fā)展中無(wú)處不在。哪里有通信，哪里就有網(wǎng)絡(luò)。它可以稱(chēng)為一切發(fā)展的“基石”。對(duì)于所有的編程開(kāi)發(fā)人員來(lái)說(shuō)，我們必須知道它是什么，為什么是這樣，所以網(wǎng)絡(luò)部分將從協(xié)議、包、解包等底層進(jìn)行深入的分析。

2. 爬蟲(chóng)開(kāi)發(fā)。所有網(wǎng)絡(luò)數(shù)據(jù)作為資源，通過(guò)自動(dòng)化程序進(jìn)行有針對(duì)性的數(shù)據(jù)采集和處理。爬蟲(chóng)開(kāi)發(fā)項(xiàng)目包括跨越式反爬蟲(chóng)策略、高性能異步IO、分布式爬蟲(chóng)等，并對(duì)scrapy框架的源代碼進(jìn)行分析，了解其原理，實(shí)現(xiàn)定制的爬蟲(chóng)框架。

3. 網(wǎng)絡(luò)開(kāi)發(fā)。Web開(kāi)發(fā)包括前端和后端兩部分。前端部分將您從“黑白”帶到“彩色”世界，而動(dòng)態(tài)網(wǎng)頁(yè)的后端部分則是手工開(kāi)發(fā)的。它需要你從10行代碼到n百萬(wàn)行代碼來(lái)實(shí)現(xiàn)和使用你自己的微網(wǎng)框架。對(duì)框架的解釋涵蓋了數(shù)據(jù)、組件、安全性和其他領(lǐng)域的知識(shí)。它可以從底層了解其工作原理，控制任何行業(yè)主流的web框架環(huán)境。

4. It自動(dòng)化發(fā)展。It運(yùn)維自動(dòng)化是根據(jù)It服務(wù)需求，將靜態(tài)設(shè)備結(jié)構(gòu)轉(zhuǎn)化為動(dòng)態(tài)彈性響應(yīng)的一組策略。目的是減少人工干預(yù)，降低人員成本和出錯(cuò)概率。從設(shè)計(jì)層面、框架選擇、靈活性、可擴(kuò)展性、故障處理，以及如何優(yōu)化與各大互聯(lián)網(wǎng)公司的實(shí)際案例的聯(lián)系，如fortress machine、CMDB、全網(wǎng)監(jiān)控、主機(jī)管理等，可以帶您開(kāi)發(fā)出企業(yè)中最常用的項(xiàng)目。財(cái)務(wù)分析。財(cái)務(wù)分析包括學(xué)習(xí)財(cái)務(wù)知識(shí)和python相關(guān)模塊。它帶你從金融小白到量化交易策略的發(fā)展。學(xué)習(xí)內(nèi)容包括numpypandasSciPy數(shù)據(jù)分析模塊和其他常用的金融分析策略，如“雙倍移動(dòng)平均線”、“周規(guī)則交易”、“羊駝策略”、“雙刺交易策略”等，讓夢(mèng)想成真，進(jìn)入金融行業(yè)不再是夢(mèng)想。

6. 人工智能機(jī)器學(xué)習(xí)。隨著人工智能時(shí)代的到來(lái)，首先介紹了深度機(jī)器學(xué)習(xí)課程。它包括機(jī)器學(xué)習(xí)的基本概念和公共知識(shí)，如分類(lèi)、聚類(lèi)、回歸、神經(jīng)網(wǎng)絡(luò)和公共類(lèi)庫(kù)，并根據(jù)周?chē)氖录鳛榘咐鸩浇?jīng)過(guò)預(yù)處理、建模、訓(xùn)練、評(píng)價(jià)和參數(shù)化。人工智能是未來(lái)科學(xué)技術(shù)發(fā)展的新趨勢(shì)。Python作為最重要的編程語(yǔ)言，必將有很好的發(fā)展前景。現(xiàn)在也是學(xué)習(xí)python的好機(jī)會(huì)。

大型平臺(tái)的后臺(tái)都是用什么語(yǔ)言開(kāi)發(fā)的？

大型互聯(lián)網(wǎng)平臺(tái)的后端實(shí)現(xiàn)通常是一個(gè)復(fù)雜的過(guò)程。許多平臺(tái)將使用各種不同的編程語(yǔ)言，為用戶(hù)提供更快、更安全、更穩(wěn)定的體驗(yàn)。

從技術(shù)實(shí)現(xiàn)的角度來(lái)看，目前的互聯(lián)網(wǎng)平臺(tái)更多的是基于三大技術(shù)，一是分布式計(jì)算；二是分布式存儲(chǔ)；三是資源調(diào)度管理。這三項(xiàng)技術(shù)也是當(dāng)前大數(shù)據(jù)和云計(jì)算技術(shù)的基礎(chǔ)。

如果我們考慮技術(shù)解決方案的穩(wěn)定性和可擴(kuò)展性，更多的互聯(lián)網(wǎng)平臺(tái)將選擇使用java語(yǔ)言。一方面Java語(yǔ)言的性能比較穩(wěn)定，另一方面Java的生態(tài)系統(tǒng)比較健全，Java語(yǔ)言的成功案例很多，開(kāi)發(fā)風(fēng)險(xiǎn)也會(huì)大大降低。與具體應(yīng)用層的實(shí)現(xiàn)相比，在構(gòu)建平臺(tái)（容器）的過(guò)程中，我們更注重性能和可擴(kuò)展性，而不是特別注重開(kāi)發(fā)周期的長(zhǎng)短和調(diào)整的方便性。因此，Java語(yǔ)言無(wú)疑是一個(gè)更合適的選擇。當(dāng)然，在構(gòu)建平臺(tái)的過(guò)程中，也會(huì)調(diào)用用C語(yǔ)言或C語(yǔ)言構(gòu)建的資源管理模塊。

除了Java之外，PHP和python也是常見(jiàn)的選擇。使用PHP進(jìn)行平臺(tái)開(kāi)發(fā)往往具有較快的開(kāi)發(fā)速度，但后期的擴(kuò)展，尤其是性能的提高，更多的依賴(lài)于云計(jì)算平臺(tái)的支持。然而，由于PHP具有自然熱部署的特性，PHP在后端開(kāi)發(fā)領(lǐng)域得到了廣泛的應(yīng)用。另外，Python也是后端開(kāi)發(fā)的通用編程語(yǔ)言。雖然Python和Java在性能上有一定的差距，但Python語(yǔ)言具有很強(qiáng)的資源管理能力和可擴(kuò)展性。