今天拖延症犯了. 我的拖延症表现是狂做另一件以后可能用到, 但现在无关紧要的事情. 比如加速python的运行速度.
Numba
Numba是个很神奇的东西, 加上以后可以提高python的运行速度.
这里有一篇报道翻译, 使用NumPy、Numba和Python异步编程的高性能大数据分析与对比
直接看我在自己电脑上测试的结果:
| 行数 | numpy | numpy+numba |
|---|---|---|
| 10^7 | 9.1 | 1.2秒 |
| 10^8 | 99.7 | 4.9秒 |
报道里还有22. 6分钟对40.2秒的成绩, 我可不会去测试的.
Numba在使用时几乎不用修改代码, 最简单的用法就是在每个函数之前加入@jit的修饰, 这篇报道里就是这么做的. 感觉是免费升级了电脑.
自动给每个函数加@jit
但我连给函数加@jit都懒得做, 既然是好像加错了也没有太多的坏处, 那干脆统一给所有的函数都加上这个修饰好了.
所以, 就干脆写了一段代码, 把py文件/ipynb文件当作文本处理, 用正则表达式搜索出所有的函数定义, 在前面加一句@jit好了.
复习了一下正则表达式. 之前写<序列一致性检验工具>的时候, 主要练习的是正则表达式中的查找, 这一次练习的是替换.
此处请参考Python3 cookbook, 需要小心的一个问题是, 如果用非转译的"\n"来替换字符串的时候, re.sub好像容易把\n给翻译了, 用\n也没有办法. 但用.replace还是可以的. 在处理ipynb文件的时候费了很大周折.
代码在这里
使用说明
- 对本路径下所有的py文件添加@jit修饰, 并存入outputpath中
python3 decorate_with_jit.py --a allpy outputpath
- 对本路径下所有的ipynb文件添加@jit修饰, 并存入outputpath中
python3 decorate_with_jit.py --a allipynb outputpath
- 对本路径下所有的py文件去除@jit修饰, 并存入outputpath中
python3 decorate_with_jit.py --r allpy outputpath
- 对本路径下所有的ipynb文件去除@jit修饰, 并存入outputpath中
python3 decorate_with_jit.py --r allipynb outputpath
python3 decorate_with_jit.py --a A.py B.py
python3 decorate_with_jit.py --r A.py B.py
EOF.
