![[求助] python 如何爬取 网页上调用JS函数打开的视频链接](/aiimages/%5B%E6%B1%82%E5%8A%A9%5D+python+%E5%A6%82%E4%BD%95%E7%88%AC%E5%8F%96+%E7%BD%91%E9%A1%B5%E4%B8%8A%E8%B0%83%E7%94%A8JS%E5%87%BD%E6%95%B0%E6%89%93%E5%BC%80%E7%9A%84%E8%A7%86%E9%A2%91%E9%93%BE%E6%8E%A5.png)
第二步 打开fiddler 2，fiddler会及时抓取正在进行网络通讯的所以信息
第三步 因为网页后台会有自动刷新的进程，所以再抓取特顶网页COOKIE时候，先按住CTRL+X清楚现在记录的网页
第四步 以小米网站为例，刷新该网站。然后就会看见fiddler已经在记录一系列的网页，选定小米官网
5
第五步 然后在右侧的属性详情栏，即可以找到【cookie】
我们需要使用爬虫程序对目标网站登录时的请求进行一次抓取，获取请求中的cookie数据；
在使用个人信息页的url进行请求时，该请求需要携带cookie，只有携带了cookie后，服务器才可识别这次请求的用户信息，方可响应回指定的用户信息页数据。
爬虫除了要注意Cookie的限制之外，还需要注意其他的反爬虫，比如IP限制，这就需要使用极光代理IP进行更换IP地址，以其他的IP地址继续访问，突破网络限制。当然，还有其它很多的限制，爬虫在进行采集之前需要好好分析网站的反爬虫策略。
Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件，这些都可以让你胡乱修改的意思）。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。
1、下载fiddler
直接百度出来，记得把这个勾去掉，免得百度家族就要入住你电脑。
2、fiddler抓取cookie前的设置
打开后的页面显示情况
3、抓取新浪微博cookie
清除后我们以新浪微博为例抓取cookie
刷新该网站。然后就会看见fiddler已经在记录一系列的网页，选定新浪微博，然后在右侧的属性详情栏，即可以找到【cookie】
是不是很简单呀？哈哈
