Python多进程（包含数据汇总哦！）
1.正常情况下的多进程
（1）一般也就写文件（窜行）
（2）入库，写数据库里（入库复杂）
（3）20个任务，开20个进程同时跑，函数里面自己作写文件或者入库的操作
# -*- coding=utf-8 -*-
import json
import multiprocessing
def get_page(page):
print page
return page
if __name__ == "__main__":
workers = []
# 开启20个进程同时跑数据
for i in range(20):
prc = multiprocessing.Process(target=get_page,args=(i,))
prc.start()
workers.append(prc)
# 保证所有进程都跑完结束程序
for worker in workers:
worker.join()
2.多进程数据汇总
数据简单处理，汇总大列表或者大字典（ansible源码学习所得，感谢开源软件）
核心思想呢是
《1》创建2个多进程特定队列，由multiprocessing模块提供，一个任务队列，一个结果队列
《2》开启的多进程数量是可以控制的
《3》每个进程跑的任务函数是特殊性的，这个任务函数是从任务队列接收数据，跑结果，结果放结果队列中。_executor_hook函数
《4》实际接收完数据跑任务的呢是get_page函数，实际生产环境中一般耗时的任务处理都写这个函数里
《5》从结果队列中取数据，因为已知传进结果队列中的都是普通字符串，所以可以直接列表的append操作就可以完成数据汇总，如果传进结果队列中的是列表，就通过列表的extend进行最后数据汇总，根据实际情况来做
# -*- coding=utf-8 -*-
import json
import multiprocessing
def get_page(page):
return page
'''流程控制函数，从任务队列中取数据，调用get_page去跑数据，然后结果放到结果队列中取'''
def _executor_hook(job_queue, result_queue):
while not job_queue.empty():
try:
page = job_queue.get(block=False)
return_data = get_pag(page)
result_queue.put(return_data)
except Queue.Empty:
pass
except:
traceback.print_exc()
if __name__ == "__main__":
'''1.多进程方式跑数据,从任务队列中获取数据，跑数据，结果存到结果队列中'''
manager = multiprocessing.Manager()
# 创建任务队列
job_queue = manager.Queue()
# 任务队列中添加100个数字
for page in range(1,101):
job_queue.put(page)
# 创建结果队列
result_queue = manager.Queue()
workers = []
# 开启20个进程同时跑数据
for i in range(20):
# 每个进程跑的函数是_executor_hook，传递进去的参数分别是任务队列和结果队列
prc = multiprocessing.Process(target=_executor_hook,args=(job_queue, result_queue))
prc.start()
workers.append(prc)
# 保证所有进程都跑完结束程序
for worker in workers:
worker.join()
'''2.不断从结果队列中取数据，添加列表返回最后结果'''
results = []
try:
while not result_queue.empty():
results.append(result_queue.get(block=False))
except Exception,e:
pass
else:
print json.dumps(results,indent=4)
