爬虫在运行的过程中,经常会遇到异常。若不进行异常处理,则爬虫程序会直接崩溃停止运行,当下次再次运行时,则又会重头开始。因此,开发一个具有顽强生命力的爬虫,必须要进行异常处理。
可以啊 ,设置headers属性值即可。
import requestsheader = {
"User-Agent": "Mozilla/5.0 (compatible Baiduspider/2.0 +http://www.baidu.com/search/spider.html)"
}
Baidu_grab = requests.get(url, headers=header)