python 同步框架中使用线程池是否有意义

Python012

python 同步框架中使用线程池是否有意义,第1张

有

简单地说就是作为可能是仅有的支持多线程的解释型语言（perl的多线程是残疾，PHP没有多线程），Python的多线程是有compromise的，在任意时间只有一个Python解释器在解释Python bytecode。

如果你的代码是CPU密集型，多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋，效率可能还不如单线程因为有context switch

但是：如果你的代码是IO密集型，多线程可以明显提高效率。例如制作爬虫（我就不明白为什么Python总和爬虫联系在一起…不过也只想起来这个例子…），绝大多数时间爬虫是在等待socket返回数据。这个时候C代码里是有release GIL的，最终结果是某个线程等待IO的时候其他线程可以继续执行。

反过来讲：你就不应该用Python写CPU密集型的代码…效率摆在那里…

如果确实需要在CPU密集型的代码里用concurrent，就去用multiprocessing库。这个库是基于multi process实现了类multi thread的API接口，并且用pickle部分地实现了变量共享。

再加一条，如果你不知道你的代码到底算CPU密集型还是IO密集型，教你个方法：

multiprocessing这个module有一个dummy的sub module，它是基于multithread实现了multiprocessing的API。

从GitHub中整理出的15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。Django:PythonWeb应用开发框架Django应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。Diesel：基于Greenlet的事件I/O框架Diesel提供一个整洁的API来编写网络客户端和服务器。支持TCP和UDP。Flask：一个用Python编写的轻量级Web应用框架Flask是一个使用Python编写的轻量级Web应用框架。基于WerkzeugWSGI工具箱和Jinja2模板引擎。Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数据库、窗体验证工具。Cubes：轻量级PythonOLAP框架Cubes是一个轻量级Python框架，包含OLAP、多维数据分析和浏览聚合数据（aggregateddata）等工具。Kartograph.py：创造矢量地图的轻量级Python框架Kartograph是一个Python库，用来为ESRI生成SVG地图。Kartograph.py目前仍处于beta阶段，你可以在virtualenv环境下来测试。Pulsar：Python的事件驱动并发框架Pulsar是一个事件驱动的并发框架，有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。Web2py：全栈式Web框架Web2py是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容GoogleAppEngine。Falcon：构建云API和网络应用后端的高性能Python框架Falcon是一个构建云API的高性能Python框架，它鼓励使用REST架构风格，尽可能以最少的力气做最多的事情。Dpark：Python版的SparkDPark是Spark的Python克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark完成，正日趋完善。Buildbot：基于Python的持续集成测试框架Buildbot是一个开源框架，可以自动化软件构建、测试和发布等过程。每当代码有改变，服务器要求不同平台上的客户端立即进行代码构建和测试，收集并报告不同平台的构建和测试结果。Zerorpc：基于ZeroMQ的高性能分布式RPC框架Zerorpc是一个基于ZeroMQ和MessagePack开发的远程过程调用协议（RPC）实现。和Zerorpc一起使用的ServiceAPI被称为zeroservice。Zerorpc可以通过编程或命令行方式调用。Bottle:微型PythonWeb框架Bottle是一个简单高效的遵循WSGI的微型pythonWeb框架。说微型，是因为它只有一个文件，除Python标准库外，它不依赖于任何第三方模块。Tornado：异步非阻塞IO的PythonWeb框架Tornado的全称是ToradoWebServer，从名字上看就可知道它可以用作Web服务器，但同时它也是一个PythonWeb的开发框架。最初是在FriendFeed公司的网站上使用，FaceBook收购了之后便开源了出来。webpy:轻量级的PythonWeb框架webpy的设计理念力求精简（Keepitsimpleandpowerful），源码很简短，只提供一个框架所必须的东西，不依赖大量的第三方模块，它没有URL路由、没有模板也没有数据库的访问。Scrapy：Python的爬虫框架Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。

1

新建一台Jenkins服务器，安装并配置好Jenkins

2

配置一个自动化测试脚本的代码库，可以使用Git或者SVN等版本控制工具。然后在Jenkins服务器上配置一个Job，负责自动的同步最新代码到Jenkins服务器上。

3

配置要跑自动化测试的虚拟机VM，推荐干净环境下安装需要跑自动化测试的依赖软件工具或者配置以及自动化测试工具（不提前安装配置也行，可以在跑自动化之前用另外的脚本自动安装配置），配置好之后关机并打一个snapshot镜像快照，并命名为prebuild或其它。

4

新建一个Jenkins Job，用来跑自动化。配置需要连接并使用的自动化测试虚拟机，配置要构建的自动化测试框架xml脚本文件（后面步骤有说明）和target，以及要归档的测试报告，邮件发送等等。

5

接下来的重点就是自动化测试框架的xml脚本文件了，首先里面定义一个target，负责获取自动化测试对象的安装包。

6

接着定义一个target（可选），负责从版本库上获取自动化测试脚本同步到Jenkins服务器上（也可以直接使用Jenkins Job本身的插件配置来获取代码）。

7

定义一个target，负责连接到虚拟机服务器，并恢复到虚拟机的原始状态例如prebuild，然后开机

8

定义一个target，负责拷贝项目产品安装包和自动化测试源代码到目标虚拟机上。

9

定义一个target，负责连接到目标测试虚拟机，并打开自动化测试工具，然后运行自动化测试脚本

10

定义一个target，负责处理自动化测试报告文件和日志文件并把它们从自动化测试虚拟机拷贝到Jenkins服务器对应的Job工作空间下。

11

最后定义一个主target，按照上面的target流程依次调用。这个主target就是Jenkins服务器上的自动化测试Job中配置的需要构建的Target。