Python多进程并行编程实践：以multiprocessing模块为例.pdfVIP

Python 多进程并行编程实践：以 multiprocessing 模块为例 專 欄 ?Pytlab ，Python 中文社区专栏作者。主要从事科学计算与 高性能计算领域的应用，主要语言为 Python ，C ，C++ 。熟 悉数值算法 (最优化方法，蒙特卡洛算法等）与并行化算法 （MPI,OpenMP 等多线程以及多进程并行化）以及 python 优化方法，经常使用 C++ 给 python 写扩展。 blog ：github ：/PytLab ?—前言并行计算是使用并行计算机来减少单个计算问题所 需要的时间，我们可以通过利用编程语言显式的说明计算中 的不同部分如何再不同的处理器上同时执行来设计我们的 并行程序， 最终达到大幅度提升程序效率的目的。 众所周知， Python 中的 GIL 限制了 Python 多线程并行对多核 CPU 的 利用，但是我们仍然可以通过各种其他的方式来让 Python 真正利用多核资源 , 例如通过 C/C++ 扩展来实现多线程 / 多 进程 , 以及直接利用 Python 的多进程模块 multiprocessing 来进行多进程编程。本文主要尝试仅仅通过 python 内置的 multiprocessing 模块对自己的动力学计算程序来进行优化 和效率提升，其中 : - 实现了单机利用多核资源来实现并行并进行加速对比 - 使用 manager 模块实现了简单的多机的分布式计算本文 并不是对 Python 的 multiprocessing 模块的接口进行翻译介 绍，需要熟悉 multiprocessing 的童鞋可以参考官方文档 /2/library/multiprocessing.html 。正文 最近想用自己的微观动力学程序进行一系列的求解并将结 果绘制成二维 Map 图进行可视化， 这样就需要对二维图上的 多个点进行计算并将结果收集起来并进行绘制，由于每个点 都需要进行一次 ODE 积分以及牛顿法求解方程组，因此要 串行地绘制整张图可能会遇到极低的效率问题尤其是对参 数进行测试的时候，每画一张图都需要等很久的时间。其中 绘制的二维图中每个点都是独立计算的，于是很自然而然的 想到了进行并行化处理。串行的原始版本由于脚本比较长， 而且实现均为自己的程序，脚本的大致结构如下 , 本质是一 个二重循环，循环的变量分别为反应物气体（ O2 和 CO ） 的分压的值 : 整体过程就这么简单， 我需要做的就是使用 multiprocessing 的接口来对这个二重循环进行并行化。使用单核串行绘制 100 个点所需要的时间如下 , 总共花了 240.76 秒： 二维 map 图绘制的效果如下 : 进行多进程并行处理 multiprocessing 模块 multiprocessing 模块提供了类似 threading 模块的接口，并对进程的各种操 作进行了良好的封装，提供了各种进程间通信的接口例如 Pi