什么是分布式計(jì)算 Python能否進(jìn)行大規(guī)模數(shù)值計(jì)算?
Python能否進(jìn)行大規(guī)模數(shù)值計(jì)算?當(dāng)你問這個(gè)問題時(shí),你可能主要懷疑Python的性能。事實(shí)上,Python的許多更好的模塊都是用C語言編寫的,例如,numpy是一個(gè)常用的Python數(shù)值計(jì)算庫,它是
Python能否進(jìn)行大規(guī)模數(shù)值計(jì)算?
當(dāng)你問這個(gè)問題時(shí),你可能主要懷疑Python的性能。事實(shí)上,Python的許多更好的模塊都是用C語言編寫的,例如,numpy是一個(gè)常用的Python數(shù)值計(jì)算庫,它是用C語言實(shí)現(xiàn)的,而且計(jì)算機(jī)的配置也不像十年前那么低。今年,python掀起了一股依靠人工智能的浪潮。作為人工智能產(chǎn)品開發(fā)中最流行的編程語言,人工智能相關(guān)產(chǎn)品的開發(fā)自然離不開大數(shù)據(jù)的支持,因此Python能否進(jìn)行大規(guī)模的數(shù)值計(jì)算,毋庸置疑。
在hadoop和spark之間如何取舍?
一般來說,會(huì)用到主流行業(yè)的大數(shù)據(jù)技術(shù)Hadoop和spark。學(xué)習(xí)時(shí),兩個(gè)系統(tǒng)都會(huì)學(xué)習(xí),先學(xué)習(xí)Hadoop,再學(xué)習(xí)spark。
Apache開源組織的分布式基礎(chǔ)設(shè)施提供了分布式文件系統(tǒng)(HDFS)、分布式計(jì)算(MapReduce)和統(tǒng)一資源管理框架(yarn)的軟件體系結(jié)構(gòu)。用戶可以在不了解分布式系統(tǒng)的基本細(xì)節(jié)的情況下開發(fā)分布式程序。
為大規(guī)模數(shù)據(jù)處理設(shè)計(jì)的快速通用計(jì)算引擎。用于構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序。它可以用來完成各種操作,包括SQL查詢、文本處理、機(jī)器學(xué)習(xí)等。
https://www.toutiao.com/i654015696262573648397/