Python爬虫浏览器伪装以后浏览器打不开了

Python012

Python爬虫浏览器伪装以后浏览器打不开了,第1张

进行爬虫异常处理。

爬虫在运行的过程中,经常会遇到异常。若不进行异常处理,则爬虫程序会直接崩溃停止运行,当下次再次运行时,则又会重头开始。因此,开发一个具有顽强生命力的爬虫,必须要进行异常处理。

可以啊 ,设置headers属性值即可。

import requests

header = {

    "User-Agent": "Mozilla/5.0 (compatible Baiduspider/2.0 +http://www.baidu.com/search/spider.html)"

}

Baidu_grab = requests.get(url, headers=header)