python如何判斷遠(yuǎn)程文件是否存在 Python多進(jìn)程和多線程是雞肋嘛?
Python多進(jìn)程和多線程是雞肋嘛?GIL的存在一直備受爭(zhēng)議,這使得Python程序無(wú)法真正利用現(xiàn)代操作系統(tǒng)的多進(jìn)程特性。需要注意的是,I/O圖形處理和NumPy數(shù)學(xué)計(jì)算等耗時(shí)的操作都發(fā)生在GIL之外
Python多進(jìn)程和多線程是雞肋嘛?
GIL的存在一直備受爭(zhēng)議,這使得Python程序無(wú)法真正利用現(xiàn)代操作系統(tǒng)的多進(jìn)程特性。需要注意的是,I/O圖形處理和NumPy數(shù)學(xué)計(jì)算等耗時(shí)的操作都發(fā)生在GIL之外,基本上不受影響。真正受影響的是Python字節(jié)碼的執(zhí)行,GIL會(huì)導(dǎo)致性能瓶頸。簡(jiǎn)而言之,只有當(dāng)純Python用于CPU密集型多線程時(shí),GIL才會(huì)成為問(wèn)題。
什么是GIL?Python s代碼執(zhí)行由Python虛擬機(jī)控制(也叫解釋器主循環(huán),CPython版本)。Python最初被設(shè)計(jì)成只有一個(gè)線程在解釋器主循環(huán)中運(yùn)行。也就是說(shuō),每個(gè)CPU在任何時(shí)候都只有一個(gè)線程在解釋器中運(yùn)行。對(duì)Python虛擬機(jī)的訪問(wèn)由全局解釋鎖GIL控制,它控制一次只能運(yùn)行一個(gè)線程。-單核CPU下的多線程其實(shí)是并發(fā)的,不是并行的。
并發(fā)和并行的區(qū)別
并發(fā)性:兩個(gè)或多個(gè)事件在同一時(shí)間間隔內(nèi)發(fā)生,或者交替做不同的事件,或者交替執(zhí)行不同的代碼塊的能力。并行性:兩個(gè)或多個(gè)事件同時(shí)發(fā)生,或者同時(shí)執(zhí)行不同事件,或者同時(shí)執(zhí)行不同代碼塊的能力。
并發(fā)和并行的含義
并發(fā)和并行都可以處理 "多任務(wù) ",兩者的主要區(qū)別在于多任務(wù)是否 "同時(shí)進(jìn)行 "。但是涉及到任務(wù)分解(有順序依賴(lài)耦合度高的任務(wù)不能并行)、任務(wù)操作(互斥、加鎖、共享等。),以及結(jié)果合并。
Python中的多線程在Python多線程下,每個(gè)線程的執(zhí)行模式如下:
有兩種機(jī)制可以獲得GIL并切換到這個(gè)線程來(lái)執(zhí)行正在運(yùn)行的代碼:指定數(shù)量的字節(jié)碼指令(100)和15毫秒的固定時(shí)間。線程主動(dòng)放棄控制,并將線程設(shè)置為睡眠狀態(tài)以釋放GIL。再次重復(fù)上述步驟。在Python2中,當(dāng)解釋器解釋任何Python代碼的執(zhí)行時(shí),都需要先獲得這個(gè)鎖(只有一個(gè)獲得了GIL的線程在同時(shí)運(yùn)行,其他所有線程都在等待GIL發(fā)布)。如果是沒(méi)有I/O操作的純計(jì)算程序,解釋器會(huì)每100次操作釋放一次鎖,讓其他線程有機(jī)會(huì)執(zhí)行(這個(gè)數(shù)字可以通過(guò)調(diào)整)。正是這樣的設(shè)定,多線程CPU密集型計(jì)算顯得很雞肋,下面就說(shuō)說(shuō)為什么。
在python3中,GIL不使用滴答來(lái)計(jì)數(shù)(100次,釋放GIL),而是使用定時(shí)器來(lái)代替(執(zhí)行時(shí)間達(dá)到15ms閾值后,當(dāng)前線程釋放。放GIL),使得計(jì)算次數(shù)更多,釋放次數(shù)更少,對(duì)CPU密集型程序更友好,但還是沒(méi)有解決GIL一次只能執(zhí)行一個(gè)線程的問(wèn)題,所以效率還是不盡如人意。
Python s多線程一個(gè)雞肋?CPU密集型(各種循環(huán)處理,計(jì)數(shù)等。),在這種情況下,滴答數(shù)很快就會(huì)達(dá)到閾值,然后觸發(fā)GIL的釋放和重新競(jìng)爭(zhēng)(多線程來(lái)回切換需要資源),所以python中的多線程對(duì)CPU密集型代碼并不友好,會(huì)觸發(fā)相當(dāng)頻繁的線程切換。
IO密集型(文件處理、網(wǎng)絡(luò)爬蟲(chóng)等。),多線程可以有效提高效率(如果單線程下有IO操作,就會(huì)等待IO,造成不必要的時(shí)間浪費(fèi),而開(kāi)啟多線程可以在線程A等待的同時(shí)自動(dòng)切換到線程B,不會(huì)浪費(fèi)CPU資源,從而提高程序執(zhí)行效率。一個(gè)線程從GIL獲得一個(gè)消息,然后等待返回消息(阻塞),Python在這個(gè)時(shí)候釋放GIL。其他線程得到GIL發(fā)送的消息,然后等待返回消息(阻塞)........................................................................................................................................................所以python 的多線程對(duì)IO密集型代碼很友好。
結(jié)論是什么?I/O密集型使用多線程并發(fā)執(zhí)行提高效率,計(jì)算密集型使用多處理并行執(zhí)行提高效率。通常程序中既包含IO操作,又包含計(jì)算操作,所以這種情況下,在開(kāi)始并發(fā)任務(wù)之前,可以先測(cè)試一下,測(cè)試一下多線程多進(jìn)程哪種方法效率高。
請(qǐng)注意:多核多線程比單核多線程差。多核多進(jìn)程下,CPU1釋放GIL后,其他CPU上的線程會(huì)競(jìng)爭(zhēng),但GIL可能馬上被CPU1拿走。CPU2釋放GIL后,其他CPU上被喚醒的線程會(huì)被喚醒,等待切換時(shí)間后再進(jìn)入待調(diào)度狀態(tài),這樣會(huì)導(dǎo)致線程抖動(dòng),效率降低。
多線程下的CPU密集型計(jì)算并非不可救藥。ctypes可以繞過(guò)GIL,讓py直接調(diào)用C動(dòng)態(tài)庫(kù)的任何導(dǎo)出函數(shù)。我們要做的就是用C/C把關(guān)鍵部分寫(xiě)成Python擴(kuò)展,而且ctypes會(huì)在調(diào)用C函數(shù)之前釋放GIL。
同時(shí)可以了解下一個(gè)進(jìn)程,也就是微線程。
協(xié)成最大的優(yōu)勢(shì)就是極高的執(zhí)行效率。因?yàn)樽映绦蚯袚Q不是線程切換,而是由程序本身控制,所以沒(méi)有線程切換的開(kāi)銷(xiāo)。與多線程相比,線程越多,協(xié)程的性能優(yōu)勢(shì)就越明顯。
第二個(gè)優(yōu)點(diǎn)是不需要多線程鎖定機(jī)制,因?yàn)橹挥幸粋€(gè)線程,不存在同時(shí)寫(xiě)變量的,共享資源在進(jìn)程中不加鎖控制,只是判斷狀態(tài),所以執(zhí)行效率比多線程高很多。
因?yàn)檫M(jìn)程是一個(gè)線程執(zhí)行的,如何使用多核CPU?最簡(jiǎn)單的方法就是多進(jìn)程協(xié)調(diào),既充分利用了多核,又充分發(fā)揮了協(xié)調(diào)的高效率,可以獲得極高的性能。
python webservice服務(wù)接口參數(shù)?
傳遞對(duì)象參數(shù)(方法1)
通過(guò)查看遠(yuǎn)程方法,發(fā)現(xiàn)fun接口的參數(shù)類(lèi)型是paramType,它有兩個(gè)屬性,P1和P2。
客戶端客戶端(url)
(參數(shù)類(lèi)型)
m.p1