Hadoop支持用python開(kāi)發(fā)嗎？還有哪些支持python的分布式計(jì)算系統(tǒng)框架？Hadoop支持python。我的理解是，任務(wù)通過(guò)yarn分配到工作節(jié)點(diǎn)，并通過(guò)shell調(diào)用。這種方法比原生Mr速

Hadoop支持用python開(kāi)發(fā)嗎？還有哪些支持python的分布式計(jì)算系統(tǒng)框架？

Hadoop支持python。我的理解是，任務(wù)通過(guò)yarn分配到工作節(jié)點(diǎn)，并通過(guò)shell調(diào)用。這種方法比原生Mr速度慢，因此沒(méi)有得到廣泛的應(yīng)用。

Spark應(yīng)該是Python的友好框架。要說(shuō)缺點(diǎn)，畢竟是Scala或Java風(fēng)格的API，這對(duì)于Python是不夠的。在使用了panda和numpy之后，我覺(jué)得spark的API是比較基本的。

此外，python建議您學(xué)習(xí)dask和芹菜。Dask基于numpy和panda進(jìn)行封裝，兼容大多數(shù)NP和PD接口。它還支持分布式和可視化界面?？偟膩?lái)說(shuō)，這是個(gè)不錯(cuò)的選擇。

作為一個(gè)分布式任務(wù)調(diào)度框架，cellery并不是專(zhuān)門(mén)為ETL設(shè)計(jì)的，所以它的性能比dask差。但我覺(jué)得作為一個(gè)生產(chǎn)體系，芹菜比較穩(wěn)定。

Python主要學(xué)習(xí)那幾個(gè)主流框架？

，Django，flag，tornado；

，scrapy；]，numpy，pandas，Matplotlib；]，tensorflow。

關(guān)注優(yōu)秀就業(yè)，多學(xué)習(xí)it知識(shí)。

學(xué)Python一定要會(huì)算法嗎？

開(kāi)始時(shí)，您不必很好地學(xué)習(xí)算法。但是隨著技術(shù)的發(fā)展，仍然需要算法，否則只能做一些工作。

1. 學(xué)好軟件開(kāi)發(fā)離不開(kāi)計(jì)算機(jī)理論基礎(chǔ)，比如數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、網(wǎng)絡(luò)技術(shù)、算法研究等，如果你喜歡這項(xiàng)技術(shù)，那就不是問(wèn)題。先開(kāi)始，你可以彌補(bǔ)。

2. 算法是軟件開(kāi)發(fā)的靈魂。好的算法寫(xiě)不出好的程序。

3. 如何學(xué)習(xí)算法，首先選擇經(jīng)典算法教材。基本的可以從數(shù)據(jù)結(jié)構(gòu)中學(xué)習(xí)，其中包含一些基本的算法，然后再學(xué)習(xí)特殊的算法（實(shí)際上，在數(shù)據(jù)結(jié)構(gòu)領(lǐng)域?qū)W習(xí)算法一般就足夠了）。網(wǎng)上還有很多論壇、算法網(wǎng)站，為了吸引眼球，它們一般都很通俗易懂。大多數(shù)算法都是C語(yǔ)言，但是語(yǔ)言在算法層次上是相互聯(lián)系的，因此理解算法模型是最重要的。

4. 萬(wàn)事開(kāi)頭難。只要你開(kāi)始，剩下的就是慢慢操作這項(xiàng)技術(shù)。該算法在實(shí)際應(yīng)用中是最快、最強(qiáng)的。

希望對(duì)您有所幫助

1、web應(yīng)用程序開(kāi)發(fā)

網(wǎng)站后臺(tái)程序員：使用它單一網(wǎng)站，后臺(tái)服務(wù)更容易維護(hù)。

類(lèi)似的平臺(tái)，如Gmail、youtube、智湖、豆瓣等

2、網(wǎng)絡(luò)爬蟲(chóng)

爬蟲(chóng)是一個(gè)操作較多的場(chǎng)景，爬蟲(chóng)獲取或處理大量信息：批量下載美劇，運(yùn)行投資策略，爬經(jīng)適房，抓取各大網(wǎng)站的折扣信息，獲得最佳選擇；收集并分類(lèi)社交網(wǎng)絡(luò)上的演講，生成情感地圖，分析語(yǔ)言習(xí)慣；抓取網(wǎng)易云音樂(lè)某類(lèi)歌曲的所有評(píng)論，生成word cloud；通過(guò)條件過(guò)濾得到豆瓣的信息，生成電影、書(shū)籍和表格。

3. 艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾。Python在科學(xué)計(jì)算領(lǐng)域享有很好的聲譽(yù)。其簡(jiǎn)潔明了的語(yǔ)法和豐富的計(jì)算工具深受該領(lǐng)域開(kāi)發(fā)人員的喜愛(ài)。

4. 數(shù)據(jù)分析

一般來(lái)說(shuō)，當(dāng)我們使用爬蟲(chóng)來(lái)抓取大量的數(shù)據(jù)后，我們需要對(duì)數(shù)據(jù)進(jìn)行分析處理。否則，爬蟲(chóng)將徒勞地爬行，我們的最終目標(biāo)是分析數(shù)據(jù)。Python在這方面有非常豐富的數(shù)據(jù)分析庫(kù)，可以制作各種圖形分析圖。也很方便。Python擁有成熟的模塊來(lái)完成大數(shù)據(jù)分析所涉及的分布式計(jì)算、數(shù)據(jù)可視化和數(shù)據(jù)庫(kù)操作等功能。

5. 自動(dòng)運(yùn)維：自動(dòng)處理大量運(yùn)維任務(wù)

6。游戲開(kāi)發(fā)者：一般嵌入游戲中作為游戲腳本

7。自動(dòng)測(cè)試：作為一個(gè)簡(jiǎn)單的實(shí)現(xiàn)腳本編寫(xiě)，在selenium/LR中實(shí)現(xiàn)自動(dòng)化。

8. 網(wǎng)站開(kāi)發(fā)：借助Django和flash框架建立自己的網(wǎng)站。

近幾年熱火的Python語(yǔ)言，你認(rèn)為Python可以干什么？

大數(shù)據(jù)有很多方向。這取決于你的興趣、背景和職業(yè)發(fā)展計(jì)劃。比如：大數(shù)據(jù)架構(gòu)、大數(shù)據(jù)平臺(tái)運(yùn)維、大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)算法、大數(shù)據(jù)分析、大數(shù)據(jù)可視化、大數(shù)據(jù)業(yè)務(wù)分析等，具體可以在排隊(duì)或請(qǐng)咖啡找大數(shù)據(jù)專(zhuān)家給你提建議。