python抓取百度随机抓取百度街景图片

Python017

python抓取百度随机抓取百度街景图片,第1张

最近公司有一个需求就是随机抓取10万张百度街景地图,刚开始没有什么头绪,最后还是解决了,在这里分享一下。

毫无疑问,这些图片肯定是异步加载的,打开百度地图的街景模式,f12打开开发者模式,清空所有响应,并点击向前

可以看到产生了很多的图片

入门的话,我的经历:

1.先用python写一个爬取网页源代码的爬虫(最先是爬取个人博客,会遇到乱码问题当时困扰了很久)

2.后来写了爬取百度图片的程序,自动下载小说(我爱看小说-_-)(接触正则表达式)

3.然后百度图片他那种分页模式,一般一页只有20张左右的图片,分析源代码,完善爬取程序,不受到限制,一次可以下几千张(图片有的是原图,有的是缩略图)

4.后来发现程序卡顿,就添加了多线程。

5.然后模拟登陆一些不用验证码的网页(我学校的oj),cookie登陆B站(本来想写一个抢楼的脚本的,后来发现抢楼的被封号了-_-,就放弃了)

对于使用的库,python2 与 python3 有点不同,我学的是python3

先用的是urllib.request,后来用requests(第三方库),在后来接触Scrapy(也是第三方库)

现在因为事情多了,就把python放下了,准备寒假写一些脚本,毕竟python不会有期末考试...

我的个人经历,希望可以帮到你。