Python是一门非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。此外，python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。
Python爬虫架构组成:
1. URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器
2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器
3. 网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。
Python爬虫工作原理:
Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。
爬虫可以做什么？
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。
Python爬虫常用框架有：
grab：网络爬虫框架
scrapy：网络爬虫框架，不支持Python3
pyspider：一个强大的爬虫系统
cola：一个分布式爬虫框架
portia：基于Scrapy的可视化爬虫
restkit：Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象。
demiurge：基于PyQuery的爬虫微框架。
是的。Python版视频下载神器，支持80+网站，比迅雷还快，运行程序后会自动复制并输出该电影的下载链接或其他的反馈信息，达到快速下载电影的效果。
Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。
当然，即便不从事计算机专业的工作，也可以学习Python。Python作为一门胶水型、简单易用的编程语言，第三方库扩展丰富，能做的事情自然也就更多，可以做以下事情：一、自动化办公
在我们日常工作中，不管什么行业，都会或多或少地接触到word、excel、txt、ppt等文件的处理，在数据量小的情况下，手动处理也还能应付过来，但如果数据量增加，处理起来不仅费劲，也会大大浪费工作时间，如果你学会了Python自动化处理，就可以轻松应对，因为Python提供了许多现成的三方库可以直接使用，word的Python-docx，excel的pandas，ppt的python-pptx，都可以轻松高效地处理大量数据。
二、爬取网站数据
日常浏览网站中，我们可能需要从网站中获取大量、实时的数据，如果手动复制粘贴，会大大降低工作效率，这时就可以使用Python爬虫技术，可以针对网页规则来解析数据规整数据，操作简单不说，效率也十分高，Python有许多现成的三方库和框架都可以直接使用，urllib、bs4、scrapy等都是爬虫的利器，也可以轻松学会。
三、下载网页视频
日常生活中，我们从网页看一些视频，可能想下载到本地，但大部分网页都不提供下载工具，Python针对网页视频下载也提供了2个实用的工具，you-get和youtube-dl，且是免费、开源的，只需要知道网页地址，就可以轻松下载，也支持批量下载。
除了上面提到的3点，Python还有许多其他的用途，如机器学习、Web开发、人脸识别、测试运维等，都有现成的框架或三方库可以直接使用，也可以使用Python开发小游戏、绘制卡通人物等。
