用 C 语言武装 Python ,让代码执行速度飞起来!

众所周知,作为解释型语言的 Python 可不是什么超级快速的语言,但许多复杂的库函数(比如 NumPy 库)却能执行得相当快速。这主要是因为这些库的核心代码往往是用 C 或者 C++ 写好,并经过了编译,比解释执行的 Python 代码有更快的执行速度。

在这篇短文中,我们将详细聊一聊如何用 C 或者 C++ 写一个 Python 模组(或软件包),内容主要参考 Python 官方文档。作为范例,我也将用 C 写一个简单的 Python 模组,完成一个简单的数学计算: n!=n×(n-1)×(n-2)… 。为了实现上面的目标,我们需要两个文件:一个 Python 代码 setup.py,以及我们实际编写的 C 语言代码 cmath.c。

总的来说,我们将用 setup.py 把 C 语言写的代码 cmath.c 构建成一个 Python 库(这其中包括编译代码、查找 Python C 库、连接等操作)。

那么,让我们开始吧!


原理

为了让我们的程序/模组能在 Python 代码中被调用执行,模组需要和 Python 解释器 CPython 进行必要的通讯。因此,我们需要 Python.h 头文件里面的若干对象,并用它们构建出合适的结构体。

基本上,我们要做的是把实际的 C 语言方法包装起来,以便能够被 Python 解释器所调用,这样我们的 Python 代码才能够像使用普通的 Python 函数一样,调用这个方法。

编写算法并包装

首先,我们要在 cmath.c 里引入头文件:

#include Python.h

在 Python 头文件里,我们需要用来和 Python 解释器对接的对象(以及函数),都以 Py 开头。在这里,能代表所有 python 对象的 C 对象(基本上就是一个opaque——“不透明”对象)叫做 PyObject。

不过,在实际使用这些对象之前,我们先把求阶乘的算法写出来(注意,0的阶乘是1):

int fastfactorial(int n){

if(n<=1)

return 1;

else

return n * fastfactorial(n-1);

}

接着,我们给这个函数进行一下包装。这个包裹函数接收一个 PyObject 类型的指针(指向今后从 Python 代码传入的参数)作为参数,再返回一个 PyObject 类型的指针(指向上面函数的返回值)给外部。

为此,我们用以下代码来实现这个包裹函数:

static PyObject* factorial(PyObject* self, PyObject* args){

int n;

if (!PyArg_ParseTuple(args,"i",&n))

  return NULL;

int result = fastfactorial(n);

return Py_BuildValue("i",result);

}

这个函数始终需要一个指向模组对象本身的 self 指针,以及一个指向从 Python 代码传入参数的 args 指针(二者都是 PyObject 类型的对象)。我们用 PyArg_ParseTuple 方法来处理这些参数,并且声明我们需要的是整数类型(第二个参数 "i"),最后将处理结果赋值到变量 n 中。

接着自然是调用 fastfactorial(n) 来计算阶乘,并用 Python 头文件里的 Py_BuildValue 方法把返回值塞回 PyObject* 类型里。最后,我们的包裹函数将指向结果的指针对象返回给外部。


组装模组结构

现在,我们已经把实际的阶乘函数封装完毕,接下来需要构造一个 PyModuleDef 结构体的实例(这个对象也是由 Python.h 所定义的。这个结构体定义了模组的结构,以便 Python 解释器载入调用。而模组的另一个组成部分是定义它的所有方法,这由另一个结构体 PyMethodDef 实现——它其实就相当于一个数组,里面列出了模组中所有的方法和对应的说明。

在当前例子中,我们定义了如下的 PyMethodDef 对象:

static PyMethodDef mainMethods[] = {

{"factorial",factorial,METH_VARARGS,"Calculate the factorial of n"},

{NULL,NULL,0,NULL}

};

这个对象里目前共有 2 个元素——我们在最末尾加入了一个由 NULL 组成的结构体,做为结尾。第 0 个对象是我们定义的方法,它的结构是:先是方法名 factorial,其次是实际调用的函数对象,注意这里调用的是上一节定义的包裹函数;接下来指定了这个方法是从 METH_VARARGS 这个常量中获得它的参数;最后是一个说明字符串。

于是,我们已经定义了这个 Python 模组中的所有方法(本例中就一个),我们可以创建一个 PyModuleDef 的实例,作为代表整个 Python 模组的对象。

代码如下:

static PyModuleDef cmath = {

PyModuleDef_HEAD_INIT,

"cmath","Factorial Calculation",

-1,

mainMethods

};

在上面的代码中,我们首先定义了模组名 cmath 以及简短的文档字符串,然后再把所有的方法组成的数组 mainMethods 放进去。

最后一步,我们要添加一个函数,并让 python 代码导入这个模组的时候执行这个函数。

代码如下:

PyMODINIT_FUNC PyInit_cmath(void){

return PyModule_Create(&cmath);

}

函数的返回类型是 PyMODINIT_FUNC,这表明函数实际上返回的是一个 PyObject 类型的指针。这个指针指向由 PyModule_Create 生成的 Python 模组本身(这个模组对象本身也是一个 PyObject对象)。当一个模组被 Python 代码导入时,这个方法就会被调用,并返回一个指向整个模组对象,包含了所有方法的指针。


小编给大家推荐一个学习氛围超好的地方,C/C++交流企鹅裙:【870+963+251】适合在校大学生,小白,想转行,想通过这个找工作的加入。裙里有大量学习资料,有大神解答交流问题,每晚都有免费的直播课程


编译打包模组

现在我们的 C 代码文件已经准备好了,所有的方法都已经包装到位,Python 解释器导入、执行所需的结构体也已经定义完善。于是,我们可以开始构建最终的二进制文件了。在这个过程中,我们的 C 代码需要被编译、并和正确的库文件连接(本例中,我们用到的主要是 Python 头文件中定义的那些方法和对象)。为了简化构建过程,我们可以用到 distutils.core 模组里的 setup和 Extension 方法。

简单地说,这两个方法基本上能搞定整个构建过程。我们只要把 setup.py 和 cmath.c 放在同一个文件夹里,然后引入这两个方法即可。

这是完整的 setup.py 文件内容:

from distutils.core import setup, Extension

factorial_module = Extension('cmath',sources = ['cmath.c'])

setup(name = 'MathExtension',

      version='1.0',

      description = 'This is a math package',

      ext_modules = [factorial_module]

    )

在上面的代码中,我们首先声明了 factorial_module 变量,作为一个 C 语言扩展对象,源代码 source 来自我们的 C 代码文件。这一行基本就是告诉 setup 方法要编译的源文件是哪个。

接下来,我们调用 setup() 函数,这个函数接收的参数就是将来要构建的包名( MathExtension)、版本号(1.0)、简短的描述文档,以及要包括在内的 C 语言扩展/模组对象( factorial_module )。这样,setup.py 就写好了,是不是很简单?

最后,我们运行一下 setup.py。运行时可以选择两种不同的模式。如果是 build,程序就只编译这个模块(一个 .so 格式的库文件)并把编译结果放在当前文件夹里的 build 子文件夹内;如果是 install,则会将编译结果放在 python 的环境变量 PATH 指向的文件夹里,以便其他程序调用。

今天的例子里,我们选择 build 选项。在终端/命令提示符里输入以下命令:

python setup.py build

如果一切正常,你就会在当前文件夹里看到一个 build 文件夹,并在里面看到编译出来的 .so 文件。这个库文件可以被 Python 脚本调用,并执行我们用 C 编写的阶乘函数。


测试结果

让我们试一下吧。我简单地写了一个 test.py,并把它放在和 .so 文件同一个文件夹下,方便调用(当然,你如果用了 install 选项,那就无需这么做,在任意目录都能调用这个包)。

test.py 文件的内容如下:

from cmath import factorial

print(factorial(6))

运行一下,得到结果 720。搞定!我们用 C 语言写的这个小模组成功地导入并执行啦!

恭喜你已经看完了今天的小教程,你打算给自己的 python 增加哪些威力强大的模块呢?欢迎留言吐槽!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271

推荐阅读更多精彩内容

  • C++调用python 在C/C++中嵌入Python,可以使用Python提供的强大功能,通过嵌入Python可...
    Bruce_Szh阅读 13,524评论 1 7
  • Python是一门功能强大的高级脚本语言,它的强大不仅表现在其自身的功能上,而且还表现在其良好的可扩展性上,正因如...
    蝴蝶兰玫瑰阅读 1,615评论 0 17
  • Distutils可以用来在Python环境中构建和安装额外的模块。新的模块可以是纯Python的,也可以...
    MiracleJQ阅读 2,974评论 0 1
  • Python语言特性 1 Python的函数参数传递 看两个如下例子,分析运行结果: 代码一: a = 1 def...
    伊森H阅读 2,971评论 0 15
  • 直接高潮,我会从5个方面告诉你,为什么库里才是勇士队老大? 1.勇士是近三个赛季才从西部脱颖而出。12-13赛季,...
    篮球白痴阅读 526评论 0 1