值得收藏的Python第三方库

Python013

值得收藏的Python第三方库,第1张

网络站点爬取

爬取网络站点的库Scrapy – 一个快速高级的屏幕爬取及网页采集框架。cola – 一个分布式爬虫框架。Demiurge – 基于PyQuery 的爬虫微型框架。feedparser – 通用 feed 解析器。Grab – 站点爬取框架。MechanicalSoup – 用于自动和网络站点交互的 Python 库。portia – Scrapy 可视化爬取。pyspider – 一个强大的爬虫系统。RoboBrowser – 一个简单的,Python 风格的库,用来浏览网站,而不需要一个独立安装的浏览器。

交互式解析器

交互式 Python 解析器。

IPython – 功能丰富的工具,非常有效的使用交互式 Python。

bpython- 界面丰富的 Python 解析器。

ptpython – 高级交互式Python解析器, 构建于python-prompt-toolkit 之上。

图像处理

用来操作图像的库.

pillow – Pillow 是一个更加易用版的 PIL。

hmap – 图像直方图映射。

imgSeek – 一个使用视觉相似性搜索一组图片集合的项目。

nude.py – 裸体检测。

pyBarcode – 不借助 PIL 库在 Python 程序中生成条形码。

pygram – 类似 Instagram 的图像滤镜。

python-qrcode – 一个纯 Python 实现的二维码生成器。

Quads – 基于四叉树的计算机艺术。

scikit-image – 一个用于(科学)图像处理的 Python 库。

thumbor – 一个小型图像服务,具有剪裁,尺寸重设和翻转功能。

wand – MagickWand的Python 绑定。MagickWand 是 ImageMagick的 C API 。

HTTP

使用HTTP的库。

requests – 人性化的HTTP请求库。

grequests – requests 库 + gevent ,用于异步 HTTP 请求.

httplib2 – 全面的 HTTP 客户端库。

treq – 类似 requests 的Python API 构建于 Twisted HTTP 客户端之上。

urllib3 – 一个具有线程安全连接池,支持文件 post,清晰友好的 HTTP 库。

数据库

Python实现的数据库

pickleDB – 一个简单,轻量级键值储存数据库。

PipelineDB – 流式 SQL 数据库。

TinyDB – 一个微型的,面向文档型数据库。

ZODB – 一个 Python 原生对象数据库。一个键值和对象图数据库。

Web 框架

全栈 web 框架。

Django – Python 界最流行的 web 框架。

awesome-django系列

Flask – 一个 Python 微型框架。

https://github.com/humiaozuzu/awesome-flask系列

Pyramid – 一个小巧,快速,接地气的开源Python web 框架。

awesome-pyramid系列

Bottle – 一个快速小巧,轻量级的 WSGI 微型 web 框架。

CherryPy – 一个极简的 Python web 框架,服从 HTTP/1.1 协议且具有WSGI 线程池。

TurboGears – 一个可以扩展为全栈解决方案的微型框架。

web.py – 一个 Python 的 web 框架,既简单,又强大。

web2py – 一个全栈 web 框架和平台,专注于简单易用。

Tornado – 一个web 框架和异步网络库。

HTML处理

处理 HTML和XML的库。

BeautifulSoup – 以 Python 风格的方式来对 HTML 或 XML 进行迭代,搜索和修改。

bleach – 一个基于白名单的 HTML 清理和文本链接库。

cssutils – 一个 Python 的 CSS 库。

html5lib – 一个兼容标准的 HTML 文档和片段解析及序列化库。

lxml – 一个非常快速,简单易用,功能齐全的库,用来处理 HTML 和 XML。

MarkupSafe – 为Python 实现 XML/HTML/XHTML 标记安全字符串。

pyquery – 一个解析 HTML 的库,类似 jQuery。

untangle – 将XML文档转换为Python对象,使其可以方便的访问。

xhtml2pdf – HTML/CSS 转 PDF 工具。

xmltodict – 像处理 JSON 一样处理 XML。

游戏开发

超赞的游戏开发库。

Cocos2d – cocos2d 是一个用来开发 2D 游戏, 示例和其他图形/交互应用的框架。基于 pyglet。

Panda3D – 由迪士尼开发的 3D 游戏引擎,并由卡内基梅陇娱乐技术中心负责维护。使用C++编写, 针对 Python 进行了完全的封装。

Pygame – Pygame 是一组 Python 模块,用来编写游戏。

PyOgre – Ogre 3D 渲染引擎的 Python 绑定,可以用来开发游戏和仿真程序等任何 3D 应用。

PyOpenGL – OpenGL 的 Python 绑定及其相关 APIs。

PySDL2 – SDL2 库的封装,基于 ctypes。

RenPy – 一个视觉小说(visual novel)引擎。

标准库 Python拥有一个强大的标准库。Python语言的核心只包含数字、字符串、列表、字典、文件等常见类型和函数,而由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。 Python标准库的主要功能有: 1.文本处理,包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持,二进制数据处理等功能 2.文件处理,包含文件操作、创建临时文件、文件压缩与归档、操作配置文件等功能 3.操作系统功能,包含线程与进程支持、IO复用、日期与时间处理、调用系统函数、日志(logging)等功能 4.网络通信,包含网络套接字,SSL加密通信、异步网络通信等功能 5.网络协议,支持HTTP,FTP,SMTP,POP,IMAP,NNTP,XMLRPC等多种网络协议,并提供了编写网络服务器的框架 6.W3C格式支持,包含HTML,SGML,XML的处理。 7.其它功能,包括国际化支持、数学运算、HASH、Tkinter等 Python社区提供了大量的第三方模块,使用方式与标准库类似。它们的功能覆盖科学计算、Web开发、数据库接口、图形系统多个领域。第三方模块可以使用Python或者C语言编写。SWIG,SIP常用于将C语言编写的程序库转化为Python模块。Boost C++ Libraries包含了一组函式库,Boost.Python,使得以Python或C++编写的程式能互相调用。Python常被用做其他语言与工具之间的“胶水”语言。 著名第三方库 1.Web框架 Django: 开源Web开发框架,它鼓励快速开发,并遵循MVC设计,开发周期短。 ActiveGrid: 企业级的Web2.0解决方案。 Karrigell: 简单的Web框架,自身包含了Web服务,py脚本引擎和纯python的数据库PyDBLite。 Tornado: 一个轻量级的Web框架,内置非阻塞式服务器,而且速度相当快 webpy: 一个小巧灵活的Web框架,虽然简单但是功能强大。 CherryPy: 基于Python的Web应用程序开发框架。 Pylons: 基于Python的一个极其高效和可靠的Web开发框架。 Zope: 开源的Web应用服务器。 TurboGears: 基于Python的MVC风格的Web应用程序框架。 Twisted: 流行的网络编程库,大型Web框架。 Quixote: Web开发框架。 2.科学计算 Matplotlib: 用Python实现的类matlab的第三方库,用以绘制一些高质量的数学二维图形。 SciPy: 基于Python的matlab实现,旨在实现matlab的所有功能。 NumPy: 基于Python的科学计算第三方库,提供了矩阵,线性代数,傅立叶变换等等的解决方案。 3.GUI PyGtk: 基于Python的GUI程序开发GTK+库。 PyQt: 用于Python的QT开发库。 WxPython: Python下的GUI编程框架,与MFC的架构相似。 4.其它 BeautifulSoup: 基于Python的HTML/XML解析器,简单易用。 PIL: 基于Python的图像处理库,功能强大,对图形文件的格式支持广泛。 PyGame: 基于Python的多媒体开发和游戏软件开发模块。 Py2exe: 将python脚本转换为windows上可以独立运行的可执行程序。