Python几种主流框架比较

Python012

Python几种主流框架比较,第1张

从GitHub中整理出的15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。\x0d\x0a\x0d\x0aDjango: Python Web应用开发框架\x0d\x0aDjango 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。\x0d\x0a\x0d\x0aDiesel：基于Greenlet的事件I/O框架\x0d\x0aDiesel提供一个整洁的API来编写网络客户端和服务器。支持TCP和UDP。\x0d\x0a\x0d\x0aFlask：一个用Python编写的轻量级Web应用框架\x0d\x0aFlask是一个使用Python编写的轻量级Web应用框架。基于Werkzeug WSGI工具箱和Jinja2 \x0d\x0a模板引擎。Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数\x0d\x0a据库、窗体验证工具。\x0d\x0a\x0d\x0aCubes：轻量级Python OLAP框架\x0d\x0aCubes是一个轻量级Python框架，包含OLAP、多维数据分析和浏览聚合数据（aggregated data）等工具。\x0d\x0a\x0d\x0aKartograph.py：创造矢量地图的轻量级Python框架\x0d\x0aKartograph是一个Python库，用来为ESRI生成SVG地图。Kartograph.py目前仍处于beta阶段，你可以在virtualenv环境下来测试。\x0d\x0a\x0d\x0aPulsar：Python的事件驱动并发框架\x0d\x0aPulsar是一个事件驱动的并发框架，有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。\x0d\x0a\x0d\x0aWeb2py：全栈式Web框架\x0d\x0aWeb2py是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容Google App Engine。\x0d\x0a\x0d\x0aFalcon：构建云API和网络应用后端的高性能Python框架\x0d\x0aFalcon是一个构建云API的高性能Python框架，它鼓励使用REST架构风格，尽可能以最少的力气做最多的事情。\x0d\x0a\x0d\x0aDpark：Python版的Spark\x0d\x0aDPark是Spark的Python克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark完成，正日趋完善。\x0d\x0a\x0d\x0aBuildbot：基于Python的持续集成测试框架\x0d\x0aBuildbot是一个开源框架，可以自动化软件构建、测试和发布等过程。每当代码有改变，服务器要求不同平台上的客户端立即进行代码构建和测试，收集并报告不同平台的构建和测试结果。\x0d\x0a\x0d\x0aZerorpc：基于ZeroMQ的高性能分布式RPC框架\x0d\x0aZerorpc是一个基于ZeroMQ和MessagePack开发的远程过程调用协议（RPC）实现。和 Zerorpc 一起使用的 Service API 被称为 zeroservice。Zerorpc 可以通过编程或命令行方式调用。\x0d\x0a\x0d\x0aBottle: 微型Python Web框架\x0d\x0aBottle是一个简单高效的遵循WSGI的微型python Web框架。说微型，是因为它只有一个文件，除Python标准库外，它不依赖于任何第三方模块。\x0d\x0a\x0d\x0aTornado：异步非阻塞IO的Python Web框架\x0d\x0aTornado的全称是Torado Web Server，从名字上看就可知道它可以用作Web服务器，但同时它也是一个Python Web的开发框架。最初是在FriendFeed公司的网站上使用，FaceBook收购了之后便开源了出来。\x0d\x0a\x0d\x0awebpy: 轻量级的Python Web框架\x0d\x0awebpy的设计理念力求精简（Keep it simple and powerful），源码很简短，只提供一个框架所必须的东西，不依赖大量的第三方模块，它没有URL路由、没有模板也没有数据库的访问。\x0d\x0a\x0d\x0aScrapy：Python的爬虫框架\x0d\x0aScrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。

1.CubicWeb

CubicWeb的最重要的功能是其代码的可重用性，由一个个代码单元组成。它灵活又强大，并且还有一些特别的功能，包括RQL查询语言和支持有效编码的语义视图功能。这是语义Web应用程序的最佳解决方案，并且提供理想的环境。

作为一个程序员，我们必须了解Python这门编程语言的灵活和强大。框架的选择取决于Web应用程序的使用目的和复杂程度。测量项目所需的负荷、可扩展性和效率是关键。

官方网站：http://www.cubicweb.org/

2.Zope2

Zope是不同Web框架集合在一起的完整家庭。与其他框架相比，zope2在当前的开发环境中对于内容管理系统是相当有限的。 Zope工具包是一个很好的库资源，允许使用重用代码和不同的库。

官方网站：https://pypi.python.org/pypi/Zope2

3.web2py

web2py最重要的因素是其外部零依赖，可以创建、复原、管理和修改在浏览器中的应用程序。对于一些简单的web开发任务，大部分都可以自动化快速开发。程序员甚至不需要再准备单一的开发、调试、测试、部署和数据库处理的封装包。内置的Web界面中这些都有，在使用之前也不需要进行安装。

官方网站：http://www.web2py.com/

4.TurboGears

TurboGears也称为是框架的终结者，因为它虽然有着其他Python框架都有的功能，却不像其他框架那样有局限性。它甚至能适用于简单的微架构项目。它给人的感觉就不像是工作在框架上，而像是在写新的功能。你可以在几分钟之内可以创建一个read-to-extend应用，并且我们可以在网上找到大量的教程。

官方网站：http://www.turbogears.org/

5.Pylons

灵活性是pylons框架的主要特点之一。它可以将不同Python框架提供的某些最好功能，整合到同一个地方。Pyramid是pylons的第一批产品之一，它把重点放在了快速和灵活开发实践上。你可以挑选任何你认为可以提高Web开发效率的功能整合到一起。

官方网站：http://www.pylonsproject.org/

6.Grok

它由Zope工具包提供支持，并且一开始的时候是作为一个易扩展的Zope工具箱，为了方便那些菜鸟程序员的使用而开发 的。对于Web应用，Grok不但能提供多个构件，还有一个随时可以提供支持的很好社区。它提供了一种更为简单和灵活的学习Python的模式。它配备的可DRY方法使得它成为了一个很好的工具。

官方网站：http://grok.zope.org/

7.Web.py

之所以说这是一款非常独特的框架，主要是因为它的简单性和功能强大的开发能力。你可以用Python语言舒舒服服地编写web应用程序。你会因为它的零局限性和易用性喜欢上web.py。有些程序员可能会发现它对功能的限制比较少，因为它预留了整合的空间，所以你不必一下子加载所有的功能，尤其是那些你并不需要的。

官方网站：http://webpy.org/

8.Pyramid

Pyramid以其高效率和快节奏的开发能力而出名。这个框架最妙的是包含了一些Python，Perl和Ruby提供的最独特的功能。此开源Web框架有一个独立于平台的MVC结构，提供了开发的最简途径。此外，它还是高效开发重用代码的首选平台之一。

官方网站：http://www.pylonsproject.org/projects/pyramid/about

9.CherryPy

CherryPy起源的其中一个最重要的原因是，它与Python兼容，并且它Python化的接口允许开发人员像Python提供的其他任何模块一样将其整合。另一个优秀的特点是能够自定义各个功能，并配备了本地适配器（mod_python），使得它非常适合开发。它为每一个WSGI功能适配器提供支持，并允许CherryPy的广泛实施。

官方网站：http://www.cherrypy.org/

10.Flask

Flask是一款可扩展却又简单的微架构。可能刚用的时候你会觉得它缺少某些功能，如表单验证、数据库抽象层、添加常用功能的第三方库。但是，它允许扩展，使得它更易于添加所需的功能。它的有些功能如单元测试非常适用于开发，并且支持客户端应用程序使用安全的cookies。它更适用于轻量级的应用程序和项目。

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？

一般来讲，只有在遇到比较大型的需求时，才会使用Python爬虫框架。这样的做的主要目的，是为了方便管理以及扩展。本文我将向大家推荐十个Python爬虫框架。

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。

2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。

5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。

7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。

9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。