作家
登录

Python一行代码完成并行任务

作者: 来源: 2017-04-14 10:02:25 阅读 我要评论

  •  
  • 'http://planet.python.org/'
  •  
  • 'https://wiki.python.org/moin/LocalUserGroups'
  •  
  • 'http://www.python.org/psf/'
  •  
  • 'http://docs.python.org/devguide/'
  •  
  • 'http://www.python.org/community/awards/' 
  •  
  • # etc.. 
  •  
  •  
  •   
  •  
  • # Make the Pool of workers 
  •  
  • pool = ThreadPool(4) 
  •  
  • Open the urls in their own threads 
  •  
  • and return the results 
  •  
  • results = pool.map(urllib2.urlopen, urls) 
  •  
  • #close the pool and wait for the work to finish 
  •  
  • pool.close() 
  •  
  • pool.join()  
  • 看吧!此次的代码仅用了4行就完成了所有的工作。个中3灸┞氛样简单的固定写法。调用map就能完成我们前面例子中40行的内容!为了更形象地注解两种办法的差别,我还分别给它们运行的时光计时。

    结不雅:

    介绍:Map

    相当出色!并且也注解了为什么要细心调试pool的大年夜小。在这里,只要大年夜于9,就能使其运行速度加快。

    实例2:

    生成成千上万的缩略图

    基本的单线程创建

    对于一个例子来说,这是有点难,但本质上,这就是向法度榜样传递一个文件夹,然后将个中的所有图片抓掏出来,并最终在它们各自的目次下创建和储存缩略图。

    1. import os 
    2.  
    3. import PIL 
    4.  
    5.   
    6.  
    7. from multiprocessing import Pool 
    8.  
    9. from PIL import Image 
    10.  
    11.   
    12.  
    13. SIZE = (75,75) 
    14.  
    15. SAVE_DIRECTORY = 'thumbs' 
    16.  
    17.   
    18.  
    19. def get_image_paths(folder): 
    20.  
    21. return (os.path.join(folder, f) 
    22.  
    23. for f in os.listdir(folder) 
    24.  
    25. if 'jpeg' in

        推荐阅读

        理解深度学习的钥匙 –启蒙篇

      神经收集是有史以来创造的最优美的编程范式之⼀。在传统的编程⽅法中,我们告诉计算机做什么,把⼤问题分成很多小的、准肯定义的义务,计算机可以很轻易地履行。比拟之>>>详细阅读


      本文标题:Python一行代码完成并行任务

      地址:http://www.17bianji.com/lsqh/34782.html

    关键词: 探索发现

    乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

    网友点评
    自媒体专栏

    评论

    热度

    精彩导读
    栏目ID=71的表不存在(操作类型=0)