Python多進程multiprocessing、進程池用法實例分析
本文實例講述了Python多進程multiprocessing、進程池用法。分享給大家供大家參考,具體如下:
內容相關:multiprocessing:
進程的創建與運行 進程常用相關函數進程池:
為什么要有進程池 進程池的創建與運行:串行、并行 回調函數多進程multiprocessing:python中的多進程需要使用multiprocessing模塊
多進程的創建與運行:1.進程的創建:進程對象=multiprocessing.Process(target=函數名,args=(參數,))【補充,由于args是一個元組,單個參數時要加“,”】
2.進程的運行: 進程對象.start()
進程的join跟線程的join一樣,意義是 “阻塞當前進程,直到調用join方法的那個進程執行完,再繼續執行當前進程”
注:在windows中代碼中必須使用這個,在Linux 中不需要加這個
import multiprocessing,time,osdef thread_run(): print(threading.current_thread())def run(name): time.sleep(1) print('hello',name,'run in ',os.getpid(),'ppid:',os.getppid())if __name__==’__main__’:#必須加 obj=[] for i in range(10): p=multiprocessing.Process(target=run,args=(’bob’,)) obj.append(p) p.start() start_time=time.time() for i in obj: i.join() print('run in main') print('spend time :',time.time()-start_time) 與多線程同樣的:也可以通過繼承multiprocessing的Process來創建進程
繼承multiprocessing的Process類的類要主要做兩件事:
1.如果初始化自己的變量,則先要調用父類的__init__()【如果不調用,則要自己填寫相關的參數,麻煩!】然后做自己的初始化;如果不需要初始化自己的變量,那么不需要重寫__init__,直接使用父類的__init__即可【已經繼承了】
2.重寫run函數
import multiprocessingclass myProcess(multiprocessing.Process): def run(self): print('run in myProcess')if __name__=='__main__': p=myProcess() p.start() p.join()進程常用相關函數: os.getpid():獲取當前進程號。 os.getppid():獲取當前進程的父進程號。 進程對象.is_alive():判斷進程是否存活
from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print('run in process:',os.getpid())if __name__=='__main__': pool=Pool(5) start_time = time.time() for i in range(10): pool.apply(func=func1,args=(i,))#串行,這里是加一個運行完再加一個 pool.close()#先close再等待 pool.join() print('main run done,spend_time:',time.time()-start_time) 并行:進程池對象.apply_async(func=函數名,args=(參數,),callback=回調函數)
from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print('run in process:',os.getpid())if __name__=='__main__': pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,args=(i,))#并行 pool.close()#先close再等待 pool.join() print('main run done,spend_time:',time.time()-start_time)#2.6,證明是并行回調函數的使用:在并行中,支持callback=回調函數,當一個進程執行完畢后會調用該回調函數,并且參數為func中的返回值 注意:回調函數是在父進程中執行的!【當兒子執行完后,會在父親里調用函數】
from multiprocessing import Poolimport time,osdef func1(i): time.sleep(1) print('run in process:',os.getpid()) return 'filename'def log(arg):##參數為進程創建中func的函數的返回值 print('log done :',arg)if __name__=='__main__': pool=Pool(5) start_time = time.time() for i in range(10): pool.apply_async(func=func1,args=(i,),callback=log,)#log的參數是func1的返回值 pool.close()#先close再等待 pool.join() print('main run done,spend_time:',time.time()-start_time)


更多關于Python相關內容感興趣的讀者可查看本站專題:《Python進程與線程操作技巧總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》、《Python+MySQL數據庫程序設計入門教程》及《Python常見數據庫操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章: