Python作为当下最热门的编程语言，在2018年世界脚本语言排行榜中位列榜首，已经成为了多个领域的首选语言。能用到Python 的地方非常多。从入门级小白到专业级的大佬，数据挖掘、科学计算、图像处理、人工智能，Python 都可以胜任。Python都被用在哪儿？自Python由Guido van Rossum于1989年底发明创建以来，基于此项技术的网站和软件项目已经有了数千个。Python 由于其独特性，使其在各种编程语言中脱颖而出，在全世界拥有大量拥护它的程序员。Python 的优点是什么？简单、免费、兼容性、面向对象、 函数库在哪里使用 Python 语言？
爬虫Web 程序开发桌面程序开发科学计算图像处理人工智能等以及其他的各种各样的方向Python 都可以胜任。对于一些从未来没有写过代码的人来说，Python 的代码简洁易懂。也正是因为这个原因，与其他语言相比，python对小白更友好。还有就是 Python 编写的程序其可维护性很高，从商业角度来看，这也可以很大程度上在降低开发成本的同时提高程序员的生产力。 当前处于一个大数据的时代，一般网站数据来源有二：网站用户自身产生的数据和网站从其他来源获取的数据，今天要分享的是如何从其他网站获取你想要的数据。目前最适合用于写爬虫的语言是python，python中最受欢迎的爬虫框架是scrapy,本文围绕scrapy来展开讲解爬虫是怎么工作的。1.如下图所示，爬虫从编写的spider文件中的start_urls开始，这个列表中的url就是爬虫抓取的第一个网页，它的返回值是该url对应网页的源代码，我们可以用默认的parse(self,response)函数去打印或解析这个源代码2.我们获取到源代码之后，就可以从网页源代码中找到我们想要的信息或需要进一步访问的url,提取信息这一步，scrapy中集成了xpath,正则(re),功能十分强大，提取到信息之后会通过yield进入到中间件当中。中间件包括爬虫中间件和下载中间件，爬虫中间件主要用于设置处理爬虫文件中的代码块，下载中间件主要用于判断爬虫进入网页前后的爬取状态，在此中间件中，你可以根据爬虫的返回状态去做进一步判断。最后我们将yield过来的item，即就是我们想要的数据会在pipeline.py文件中进行处理，存入数据库，写入本地文件，都可以在这里进行，另外，为了减少代码冗余，建议所有与设置参数有关的参数，都写在settings.py中去学习基本的爬虫工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom Filters by Example
如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rq
rq和Scrapy的结合：darkrho/scrapy-redis · GitHub
后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)
