API,所有Python代码的最终变成这些API以及数据结构的调用,才有了Python世界的精彩。
Cython,准确说Cython是单独的一门语言,专门用来写在Python里面import用的扩展库。实际上Cython的语法基本上跟Python一致,而Cython有专门的“编译器”先将
Cython代码转变成C(自动加入了一大堆的C-Python
API),然后使用C编译器编译出最终的Python可调用的模块。
GIL:Global
Interpreter
Lock,是Python虚拟机的多线程机制的核心机制,翻译为:全局解释器锁。其实Python线程是操作系统级别的线程,在不同平台有不同的底层实现(如win下就用win32_thread,
posix下就用pthread等),Python解释器为了使所有对象的操作是线程安全的,使用了一个全局锁(GIL)来同步所有的线程,所以造成“一个时刻只有一个Python线程运行”的伪线程假象。GIL是个颗粒度很大的锁,它的实现跟性能问题多年来也引起过争议,但到今天它还是经受起了考验,即使它让Python在多核平台下CPU得不到最大发挥。
况如下:打算从python发一个tcp数据包给远程服务器,数据的主体是一个c语言的
struct
(较大,size
为1402)。由于这个struct太复杂,故不打算在python
处对其重新定义,目前的想法是用python调用一个c语言的模块,在这个模块中定义这个struct,并设置好数据后,将其struct传回python中,再打包传送服务器。
但是不知道如何将这个struct
变量从c语言
传入python中。尝试用py_buildvalue函数,以py_buildvalue("p",&interface_setup)
//interface_setup为结构体变量
传递,
但是几次都得到运行时错误:
systemerror:
bad
format
char
passed
to
pybuildvaule。
在哪里写都可以啊,重要的是编译过程。给你介绍下编译过程吧。
在windows和linux下面,对C扩展的编译方法是不一样的,我们先来看windows版的。
我们用C实现一个简单的加法。
首先新建一个文件add.c,代码如下:
#include <Python.h>static PyObject* add(PyObject *self, PyObject *args)
//一定声明为static,把他们限制在这个文件范围里。 几乎所有的参数都是PyObject类型,在python,每个东西都是object。
static PyObject* add(PyObject* self, PyObject* args)
{
int x=0
int y=0
int z=0
if (! PyArg_ParseTuple(args, "i|i", &x, &y))
return NULL
/*第一个参数是self,这个是python用的, 每个函数都要有。我们暂时不管。args是一个参数列表。她把所有的参数都整合成一个string。所以
我们需要从这个string里来解析我们的参数。PyArg_ParseTuple来完成这个任务。第一个参数是args, 就是我们要转换的参数。第二个是格式符号。
“s”代表是个string。 从args里提取一个参数就写"s", 两个的话就写"s|s", 如果是一个string,一个int,就写"s|i", 和printf差不多。第三个
参数就是提取出来的参数放置的真正位置。必须传递这个参数的地址。对于add, 他将提取两个参数。分别是x和y。*/
z=x+y
return Py_BuildValue("i", z)
/*调用完之后我们需要返回结果。这个结果是c的type或者是我们自己定义的类型。必须把他转换成PyObject, 让python认识。这个用Py_BuildValue
来完成。他是PyArg_ParseTuple的逆过程。他的第一个参数和PyArg_ParseTuple的第二个参数一样, 是个格式化符号。第三个参数
是我们需要转换的参数。Py_BuildValue会把所有的返回只组装成一个tutple给python。*/
}
static PyMethodDef addMethods[] =
{
{"add", add, METH_VARARGS, "Execute a shell command."},
{NULL, NULL, 0, NULL}
}
/*这个是一个c的结构。他来完成一个映射。 我们需要把我们扩展的函数都映射到这个表里。表的第一个字段是python真正认识的。是python 里的方法名字。 第二个字段是python里的这个方法名字的具体实现的函数名。 在python里调用add, 真正执行的是用c写的add函数。第三个字段是METH_VARARGS, 他告诉python,add是调用c函数来实现的。第四个字段是这个函数的说明。如果你在python里来help这个函数,将显示这个说明。相当于在python里的函数的文档说明。*/
PyMODINIT_FUNC initadd()
{
Py_InitModule("add", addMethods)
}
/*注意,这个函数的名字不能改动。 必须是init+模块名字。 我们的模块名字是add。所以这个函数是initadd()。
这样python在导入add 的模块时候,才会找到这个函数,并调用。这个函数调用Py_InitModule来将模块名字和映射表结合在一起。 他表示,add这个模块使用addMethods这个映射表。python应该这样导入我们的module的.*/
新建一个setup.py,内容如下:
from distutils.core import setup, Extensionmodule1 = Extension('add', sources = ['add.c'])
setup (name = 'PackageName', version = '1.0', description = 'This is a demo package', ext_modules= [module1])
组建:(由于我的机器上装了mingw,所以指定了mingw32。默认的编译器是vs2008。参考:
python setup.py build --compiler=mingw32
执行后会在当前目录生成一个build目录及文件:
build\lib.win32-2.6\add.pyd
将add.pyd拷贝到当前目录,并写一个测试文件test.py,代码如下:
import add
print add.add(3,4)
执行一下,输出为7
OK,基本上就是如此了。
在linux下的话,会有少许不同.
即直接用makefile将add.c编译成.so,python可以直接import,makefile代码如下:
PYLIB = /usr/binPYINC = /usr/include/python2.6
all: add.c
gcc add.c -g -I$(PYINC) -shared -L$(PYLIB) -lpython2.6 -o add.so
clean:
rm -f add.so
用同样的测试代码,可以测试通过。