在做数据抓取的时刻,经常碰到因为收集问题导致的法度榜样保存,先前只是记录了缺点内容,并对缺点内容进行后期处理。
本来的流程:
- def crawl_page(url):
- pass
- def log_error(url):
- pass
- url = ""
- try:
- crawl_page(url)
- except:
- log_error(url)
在履行 getresult 成功后,会将函数的返回值经由过程形参 result 的情势传入 retryifresultnone 函数中,如不雅返回值是 None 那么就进行 retry,不然就停止并返回函数值。
改进后的流程:
- attempts = 0
- success = False
- while attempts < 3 and not success:
- try:
- crawl_page(url)
- success = True
- except:
- attempts = 1
- if attempts == 3:
- break
比来发明的新的解决筹划:retrying
retrying 是一个 Python 的重试包,可以用来主动重试一些可能运行掉败的法度榜样段。retrying 供给一个装潢器函数 retry,被装潢的函数就会在运行掉败的前提下从新履行,默认只要一向报错就会赓续重试。
- import random
- from retrying import retry
- @retry
- def do_something_unreliable():
- if random.randint(0, 10) > 1:
- raise IOError(
推荐阅读
比来哈希表碰撞进击(Hashtable collisions as DOS attack)的话题赓续被提起,各类说话纷纷中招。本文结合PHP内核源码,聊一聊┞封种进击的道理及实现。[3] 经由过程构造Hash冲突实现各类>>>详细阅读
本文标题:Python中异常重试解决方案
地址:http://www.17bianji.com/lsqh/35522.html
1/2 1