python爬虫怎么处理异常和超时

Python034

python爬虫怎么处理异常和超时,第1张

不管是什么程序,python使用try&except语句来处理异常。try&except语句不仅仅是要让其捕获异常更重要的是让其忽略异常,因为爬虫中的绝大多数异常可能重新请求就不存在,因此,发现异常的时候将其任务队列进行修复其实是个最省力的好办法。

是为了防止url不可访问,或者响应速度太慢而造成的时间浪费。

比如,你要爬取1000个网站,如果有100个需要30s才能返回数据,你等待他们返回的话就需要3000s了,如果你设置10s超时,那么就能知道最长需要多久1000个可以爬完。

如果解决了您的问题请采纳!

如果未解决请继续追问

如果是爬虫的话,这个一般都是由于网络原因造成的卡住,可以做两层控制:

在HTTP请求上设置好超时时间,最好设定sockect的超时,这样更底层一些。

在上层做一个检测机制,定时轮询线程是否正常,如果遇到不响应的直接kill掉。