09-多进程间的通信与数据共享

上篇文章对python多线程进行了介绍,GIL锁使得python的多线程并不能并发执行,为了提高多核CPU的利用率,可以采取多进程的方式,即为每个任务单独启动一个独立的进程,每个进程的主线程可以在多核CPU中并发执行,进而提高程序的运行速度。在考虑使用多进程之前,也必须了解多进程的缺点:比多线程占用更多的系统资源,切换速度慢,而且各进程之前数据默认不能共享。

python多进程之间数据不能简单共享

进程是系统独立调度核分配系统资源(CPU、内存)的基本单位,进程之间是相互独立的,每启动一个新的进程相当于把数据进行了一次克隆,子进程里的数据修改无法影响到主进程中的数据,不同子进程之间的数据也不能共享,这是多进程在使用中与多线程最明显的区别。通过观察下面两段代码,看看多进程与多线程在数据共享上的区别。


多进程与多线程.jpg

左边的代码采用了多进程,从执行结果可以发现:主进程与子进程中打印出count的值并不相同,也就说明主进程和子进程中的count不是一个变量,因此在主进程中对count的修改没有影响到子进程。同理我们把第5行和第11行的代码进行调换(即在子进程中对count的值进行修改),同样也会发现主进程和子进程中打印出来count的值不相同。不仅如此,不同子进程之间的数据也是不能共享的,读者可以自己编写代码验证。作为对比,右边是多线程的例子,可以发现主线程和子线程是公用一个count的。

python多进程间的通信

python的multiprocessing模块提供了多个组件用于实现多进程间的通信,如Queue、Pipe、Manager、Event,其中Queue是一个先进先出(First In First Out)的队列,主进程中创建一个Queue对象,并作为参数传入子进程,两者之间通过put( )放入数据,通过get( )取出数据,执行了get( )函数之后队列中的数据会被同时删除。

Queue实现了消息的“阅后即焚”,不用担心消息队列的清理,使用起来很方便,但缺点也很明显:如果主进程开启了多个子进程,需要为每个子进程创建一个不同的Queue对象,管理起来会很麻烦,而且会造成很大的系统开销。类似的方法还有Pipe,与Queue最大的不同是:它在不同的进程间建立了两个管道,创建一个Pipe对象会返回两个实例,两个实例都可以分别调用send( )和receive( )实现数据的发送和接收,用法很简单,这里不再赘述。

python使用Manager实现多进程的数据共享

以上提到的Queue和Pipe只能算是实现了两个进程间的通信,如果要实现多个进程之间的数据共享,需要用到Manager。Manager创建的字典或列表能够在不同进程中读取和修改,实现数据的共享。下图是利用Manager的字典实现数据共享的例子,代码很简单,大家自己看吧。唯一需要提醒的是:这个字典是用Manager创建的,跟python原生的字典不是一回事,也就是说只有Manager的字典才能实现不同进程间的数据共享。


多进程.jpg
最后

我帮朋友写的自动挂机程序要实现高度的自动化,就需要定期检查各子进程(模拟器)的运行状态,因此在主进程里获取所有子进程的PID,通过multiprocessing模块的Manager组件能够完美实现这一功能,上图的代码实际就是干这件事的。最后补充一点非常重要的提醒:如果要在windows下使用multiprocessing,必须在代码入口添加multiprocessing.freeze_support( ),否则用pyinstaller打包成exe,执行中会出现主进程无限循环的问题。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,907评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,546评论 1 289
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,705评论 0 238
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,624评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,940评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,371评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,672评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,396评论 0 195
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,069评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,350评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,876评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,243评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,847评论 3 231
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,004评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,755评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,378评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,266评论 2 259

推荐阅读更多精彩内容