![[求助] python 如何爬取 网页上调用JS函数打开的视频链接](/aiimages/%5B%E6%B1%82%E5%8A%A9%5D+python+%E5%A6%82%E4%BD%95%E7%88%AC%E5%8F%96+%E7%BD%91%E9%A1%B5%E4%B8%8A%E8%B0%83%E7%94%A8JS%E5%87%BD%E6%95%B0%E6%89%93%E5%BC%80%E7%9A%84%E8%A7%86%E9%A2%91%E9%93%BE%E6%8E%A5.png)
看你跟其它用户的交流，大概的意思就是在打开页面的时候，发送一次页面请求，请看代码：
<!DOCTYPE HTML><html>
<head>
<meta charset="UTF-8"/>
<title>DemoJavascript</title>
</head>
<script type="text/javascript" src="
<body>
<div>
This is your code.
</div>
</body>
<script type="text/javascript">
$(document).ready(function(){
var url = 'htttp://
// 这是你要发送请求的URL地址
setTimeout(function(){
// post前需要引入jQuery库
$.post(url, {data:data}, function(r){ // data是你发送请求时传递的参数（Json格式）
/**
* function里面的r是你发送请求后，返回的参数
* 比如你发送请求后，返回status=1，info='Hello World！'
* 返回后输出格式：
* if(r.status == 1){
* alert(r.info)
* }else{
* .....
* }
*/
}, 'json')
}, 1000) // 1000是指：打开页面后1秒钟执行function里面的操作
})
</script>
</html>
代码内的链接地址被过滤掉了，你看看下面这张图
完整代码，可直接贴用！
这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。
因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）
不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。
原生js实现Ajax方法：var Ajax={
get: function(url, fn) { var obj = new XMLHttpRequest()
// XMLHttpRequest对象用于在后台与服务器交换数据
obj.open('GET', url, true)obj.onreadystatechange = function() {
if (obj.readyState == 4 &&obj.status == 200 || obj.status == 304) {
// readyState == 4说明请求已完成
fn.call(this, obj.responseText)
//从服务器获得数据
}
}
obj.send()}, post: function (url, data, fn) {
// datat应为'a=a1&b=b1'这种字符串格式，在jq里如果data为对象会自动将对象转成这种字符串格式
var obj = new XMLHttpRequest()obj.open("POST", url, true)obj.setRequestHeader("Content-type", "application/x-www-form-urlencoded")
// 添加http头，发送信息至服务器时内容编码类型
obj.onreadystatechange = function() {
if (obj.readyState == 4 &&(obj.status == 200 || obj.status == 304)) {
// 304未修改
fn.call(this, obj.responseText)
}
}
obj.send(data)
}
}
注释：
1. open(method, url, async) 方法需要三个参数:
method：发送请求所使用的方法（GET或POST）；与POST相比，GET更简单也更快，并且在大部分情况下都能用；然而，在以下情况中，请使用POST请求：
url：规定服务器端脚本的 URL(该文件可以是任何类型的文件，比如 .txt 和 .xml，或者服务器脚本文件，比如 .asp 和 .php （在传回响应之前，能够在服务器上执行任务）)；
async：规定应当对请求进行异步（true）或同步（false）处理；true是在等待服务器响应时执行其他脚本，当响应就绪后对响应进行处理；false是等待服务器响应再执行。
2. send() 方法可将请求送往服务器。
3. onreadystatechange：存有处理服务器响应的函数，每当 readyState 改变时，onreadystatechange 函数就会被执行。
4. readyState：存有服务器响应的状态信息。
5. responseText：获得字符串形式的响应数据。
6. setRequestHeader()：POST传数据时，用来添加 HTTP 头，然后send(data)，注意data格式；GET发送信息时直接加参数到url上就可以，比如url?a=a1&b=b1。
