python用通用代码爬取,没有反应,该如何处理?

Python011

python用通用代码爬取,没有反应,该如何处理?,第1张

目前大概的看,有两处问题。

第一处,你的try语句里的except语句后面没有跟上异常类(比如TypeError),所以根本没起到捕获异常的作用。

第二处,这是在Python的交互式界面,不需要使用if __name__语句判断当前是否作为主模块调用,这种语法是在编译器里有的。

所以你定义完getHTMLtext函数后,按回车键,另起一行,从【>>>】开始,直接使用命令getHTMLtext('http://www.baidu.com')就调用函数就行

你试试看还行不行,如果还有问题再调整

假死什么意思?

我遇到的几种情况是有可能你频繁的爬取同一个网站的数据,这个网站把你的ip暂时或者永久的加入了黑名单,一段时间内或者永久限制你的访问。网站可能有最大访问频率的限制,根据这个时间来设置时延可以解决这个问题。或者可能由于网络不稳定等原因。至于其他的问题就不清楚了。

解码的时候记得加入

z_data = data.decode('UTF-8','ignore')

ignore是忽略错误解码而不会报错

因为什么啊

现在写前端的兄弟姐妹啊

怎么方便用什么码写

造成一个前端或者后端存在几种编码机制

当你utf-8遇到不是这个码的时候就会报错啦