利用Python爬取数据翻页时，一共100页，我只想要5页的数据，用什么代码停止翻页呢？

Python023

利用Python爬取数据翻页时，一共100页，我只想要5页的数据，用什么代码停止翻页呢？,第1张

1、首先分析页面源代码中翻页处的特征，按规则取下一页地址适合页面地址不连续时，可通过正则表达式实现，如果页面地址为连续的，则直接按连续的地址获取数据。

2、按以上特征获取后面地址，通过urllib.request.urlopen(url)得到首页面的数据。可以通过正则表达式获取数据，也可按特征字符串定来取到数据。

3、如为规则网地址方式，可以使用线程来提高效率。

看了你这个网站，下一页每次都不一样，每一页的链接也不一样，这种你靠分析肯定是不行的，因为你永远都不知道会出来什么内容，建议你用八爪鱼采集器，这是目前最好用的网页数据采集利器，解决这种问题很轻松的。