作家
登录

Python中异常重试解决方案

作者: 来源: 2017-06-01 13:32:21 阅读 我要评论

Python中异常重试解决筹划

在做数据抓取的时刻,经常碰到因为收集问题导致的法度榜样保存,先前只是记录了缺点内容,并对缺点内容进行后期处理。

本来的流程:

  1. def crawl_page(url): 
  2.  
  3.  
  4.     pass 
  5.  
  6.  
  7.   
  8.  
  9.  
  10. def log_error(url): 
  11.  
  12.  
  13.     pass 
  14.  
  15.  
  16.   
  17.  
  18.  
  19. url = "" 
  20.  
  21.  
  22. try: 
  23.  
  24.  
  25.    crawl_page(url) 
  26.  
  27.  
  28. except
  29.  
  30.  
  31.     log_error(url) 

在履行 getresult 成功后,会将函数的返回值经由过程形参 result 的情势传入 retryifresultnone 函数中,如不雅返回值是 None 那么就进行 retry,不然就停止并返回函数值。

改进后的流程:

  1. attempts = 0 
  2.  
  3.  
  4. success = False 
  5.  
  6.  
  7. while attempts < 3 and not success: 
  8.  
  9.  
  10.     try: 
  11.  
  12.  
  13.         crawl_page(url) 
  14.  
  15.  
  16.         success = True 
  17.  
  18.  
  19.     except
  20.  
  21.  
  22.         attempts = 1 
  23.  
  24.  
  25.         if attempts == 3: 
  26.  
  27.  
  28.             break 

比来发明的新的解决筹划:retrying

retrying 是一个 Python 的重试包,可以用来主动重试一些可能运行掉败的法度榜样段。retrying 供给一个装潢器函数 retry,被装潢的函数就会在运行掉败的前提下从新履行,默认只要一向报错就会赓续重试。

  1. import random 
  2.  
  3.  
  4. from retrying import retry 
  5.  
  6.  
  7.   
  8.  
  9.  
  10. @retry 
  11.  
  12.  
  13. def do_something_unreliable(): 
  14.  
  15.  
  16.     if random.randint(0, 10) > 1: 
  17.  
  18.  
  19.         raise IOError(

      推荐阅读

      PHP哈希表碰撞攻击原理

    比来哈希表碰撞进击(Hashtable collisions as DOS attack)的话题赓续被提起,各类说话纷纷中招。本文结合PHP内核源码,聊一聊┞封种进击的道理及实现。[3] 经由过程构造Hash冲突实现各类>>>详细阅读


    本文标题:Python中异常重试解决方案

    地址:http://www.17bianji.com/lsqh/35522.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)