2、按以上特征获取后面地址,通过urllib.request.urlopen(url)得到首页面的数据。可以通过正则表达式获取数据,也可按特征字符串定来取到数据。
3、如为规则网地址方式,可以使用线程来提高效率。
看了你这个网站,下一页每次都不一样,每一页的链接也不一样,这种你靠分析肯定是不行的,因为你永远都不知道会出来什么内容,建议你用八爪鱼采集器,这是目前最好用的网页数据采集利器,解决这种问题很轻松的。例子如下:item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意:使用yield时不要用return语句。