![[求助] python 如何爬取 网页上调用JS函数打开的视频链接](/aiimages/%5B%E6%B1%82%E5%8A%A9%5D+python+%E5%A6%82%E4%BD%95%E7%88%AC%E5%8F%96+%E7%BD%91%E9%A1%B5%E4%B8%8A%E8%B0%83%E7%94%A8JS%E5%87%BD%E6%95%B0%E6%89%93%E5%BC%80%E7%9A%84%E8%A7%86%E9%A2%91%E9%93%BE%E6%8E%A5.png)
比如：
<a href="/imginfo/2149_3.html" >上一页</a>
<a href="/imginfo/2149_1.html" >1</a>
<a href="/imginfo/2149_2.html" >2</a>
<a href="/imginfo/2149_3.html" >3</a>
<a href="/imginfo/2149_5.html" >5</a>
<a href="/imginfo/2149_6.html" >6</a>
<a href="/imginfo/2149_5.html">下一页</a>
或者不要管上面那部分直接采集
<span class="next" title="下一页" onclick="is_go_out=falselocation.href='/comic_show/c91292_m0_i719601.html'"></span>
</dd>
这里面的网址上下页匹配，也可以用多页采集模式进行匹配
正文开始代码是<!--判断是否已经扣点-->结束 <br />
</p>
</div>
另外可以用采集器，自动采集功能.动易2006，或者火车头采集器，火车头采集器使用方法在99D软件站有！火车头采集器下载地址在99d软件站也提供下载！！
去你百度搜索99d软件站！
软件使用，项目管理：
1、选择添加新项目，找到你需要采集的页面→复制网址到新闻网址列表框，项目名称随便填（主要是给你自己记忆备忘用）→下一步
2、项目编辑列表设置：
这里填写就要注意点了，找到你要采集的新闻列表的第一个信息标题的地方，一般标题前面这里会有一个table标签，选择这个table标签前面的具有典型特征的一些代码，代码具体选多少呢，分2种情况，一是有分页的列表，简单说就是列表最下面有下一页或者有1、2、3、等页面链接的，二是没有分页的，简单说就是列表只有1页，只有1页的情况好办，这里可以随便选了，只要保证不重复就行了。但是有分页的列表页就要麻烦一些，这时候选取代码的原则是：在保证没有重复代码的前提下，尽量选择少一点的代码，因为代码越多越容易出错，越不能保证每个列表页面都有这些代码了，这是经验之谈，当然也不一定，有些网页代码格式非常统一，那么这种网页就好采集，列表开始代码也好填一些。什么是具有典型特征的代码呢？就是基本上每个列表页都有的代码，但是这个页码在所有的列表页中又是唯一的，不重复。
第一步采集网址，下载好火车头采集器后打开，新建一个任务，任务名随意。把需要采集的网站文章列表页网址添加到起始网址。从图中看出该列表页有34页，每页有N篇文章。2
列表页会一级网址，添加多级网址获取，从而获取二级网址（文章页网址）
设置列表分页获取，3个地方分别是：分页源代码前面和后面还有中间位置。这一步用于获取列表页面链接，因为有34个列表页面。设置完保存。
网址获取选项，这一步用于获取列表页上面文章页的链接，根据自己需要设置需要截取的部分和根据网址的结构设置包含与不包含某些字符。为空即没限制，设置完保存。
设置好链接采集规则后，可以测试网址，看测试结果调整规则。看图可以看到采集链接规则从起始链接到全面列表页再到列表页上的文章页链接都已经成功采集。
第二步是采集内容，首先修改标题规则，在页面源代码里面找到标题的代码，把标题前后代码负责过去截取出标题。保存。
修改内容采集规则，跟标题规则差不多，也是源代码里面找到内容的前后代码。这里内容会有一些其他html标签，所以得添加一个html标签排除的规则。
完成后，测试看一下结果，从测试结果来调试规则，直到测试结果是自己想要的内容为止。
第三步是采集导出。前面1、2两步把规则设置好，最后就要把文章导出了。先做一个导出的模版。
然后选择方式二,把每一篇文章都分别记录到一个txt文本,保存位置自己选择,模板选择刚刚做好的导出模版.保存的文件名用文章标题为命名。其他默认，保存。
把采集网址，采集内容，发布3个选项框都勾选，然后开始采集。完成后文本就自动生成在刚刚保存的文件夹里面了。
火车头采集器采集文章教程到此就完成了，由于每个网站都是不一样的，所以这里只能用一个网站演示，只是一个方法思路，自己采集文章还需要灵活变通。
