Dummy就是多过程模块的克隆文件。独一不合的是，多过程模块应用的是过程，而dummy则应用线程(当然，它有所有Python常见的限制)。也就是说，数据由一个传递给另一个。这可以或许使得数据轻松的在这两个之间进行进步和回跃，特别是对于摸索性法度榜样来说十分有效，因为你不消肯定框架调用到底是IO 照样CPU模式。

这里调用urlopen办法来把调用结不雅全部按序返回并存储到一个列表里。就像：

results = [] 
 
for url in urls: 
 
results.append(urllib2.urlopen(url))  

为什么它这么厉害呢?因为只要有了合适的看维map能使并交运行得十分流畅!

有两个可以或许支撑经由过程map函数来完成并行的看魏一个是multiprocessing，另一个是鲜为人知但功能强大年夜的子文件：multiprocessing.dummy。

题外话：这个是什么?你大年夜来没据说过dummy多过程库?我也是比来才知道的。它在多过程的解释文档琅绫擎仅仅只被提到了一句。并且那一句就是大年夜概让你知道有这么个器械的存在。我敢说，如许几近抛售的做法造成的后不雅是不堪假想的!

预备开端

要做到经由过程map函数来完成并行，你应当先导入装有它们的模块：

from multiprocessing import Pool 
 
from multiprocessing.dummy import Pool as ThreadPool  

再初始化:

pool = ThreadPool() 

如不雅我们用处行调用map来代替for轮回的话：

这简单的一句就能代替我们的build_worker_pool 函数在example2.py中的所有工作。换句话说，它创建了很多有效的worker，启动它们来为接下来的工作做预备，以及把它们存储在不合的地位，便利应用。

Pool对象须要一些参数，但最重要的是：过程。它决定pool中的worker数量。如不雅你不填的话，它就会默认为你电脑的内核数值。

如不雅你在CPU模式下应用多过程pool，平日内核数越赶紧度就越快(还有很多其它身分)。然则，当进行线程或者处理收集绑定之类的工作时，情况会比较复杂所以应当应用pool的精确大年夜小。

pool = ThreadPool(4) # Sets the pool size to 4 

如不雅你运行过多线程，多线程间的切换将会浪费很多时光，所以你最好耐烦调试出最合适的义务数。

我们如今已经创建了pool对象，立时就能有简单的并行法度榜样了，所以让我们从新写example2.py中的url opener吧!

import urllib2 
 
from multiprocessing.dummy import Pool as ThreadPool 
 
  
 
urls = [ 
 
'http://www.python.org', 
 
'http://www.python.org/about/', 
 
'http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html', 
 
'http://www.python.org/doc/', 
 
'http://www.python.org/download/', 
 
'http://www.python.org/getit/', 
 
'http://www.python.org/community/', 
 
'https://wiki.python.org/moin/', 	
			
 5/8   首页 上一页 3 4 5 6 7 8 下一页 尾页
	
			

　　推荐阅读
　　理解深度学习的钥匙 –启蒙篇
            
            神经收集是有史以来创造的最优美的编程范式之⼀。在传统的编程⽅法中，我们告诉计算机做什么，把⼤问题分成很多小的、准肯定义的义务，计算机可以很轻易地履行。比拟之>>>详细阅读


本文标题：Python一行代码完成并行任务
地址：http://www.17bianji.com/lsqh/34782.html
 1/2    1