高性能计算之并行编程技术讲义.ppt

多线程几乎是每一个程序猿在使用每一种语言时都会首先想到用于解决并发的工具（JS程序员请回避），使用多线程可以有效的利用CPU资源（Python例外）。然而多线程所带来的程序的复杂度也不可避免，尤其是对竞争资源的同步问题。然而在python中由于使用了全局解释锁（GIL）的原因，代码并不能同时在多核上并发的运行，也就是说，Python的多线程不能并发，很多人会发现使用多线程来改进自己的Python代码后，程序的运行效率却下降了。 实际上使用多线程的编程模型是很困难的，程序员很容易犯错，这并不是程序员的错误，因为我们大多数人的思维是串行（精神分裂不讨论），且冯诺依曼设计的计算机架构也是以顺序执行为基础的。 Python提供两组线程的接口，一组是thread模块，提供基础的，低等级（Low Level）接口，使用Function作为线程的运行体。还有一组是threading模块，提供更容易使用的基于对象的接口（类似于Java），可以继承Thread对象来实现线程，还提供了其它一些线程相关的对象，例如Timer，Lock。 线程（Thread） 四、Pyhon并发编程方式 由于python的全局解释锁问题，Python下比较好的并行方式是使用多进程，这样可以非常有效的使用CPU资源，并实现真正意义上的并发。当然，进程的开销比线程要大，也就是说如果你要创建数量惊人的并发进程的话，需要考虑一下你的机器是不是有一颗强大的心。 由于线程共享相同的地址空间和内存，所以线程之间的通信是非常容易的，然而进程之间的通信就要复杂一些了。常见的进程间通信有：管道，消息队列，Socket接口（TCP/IP）等等。 Python的mutliprocess模块提供了封装好的管道和队列，可以方便的在进程间传递消息。 Python进程间的同步使用锁，这一点和线程是一样的。 Python还提供了进程池Pool对象，可以方便管理和控制线程。 python的mutliprocess模块和threading具有类似的接口。 线程（Thread） 四、Pyhon并发编程方式 随着大数据时代的到临，摩尔定理在单机上似乎已经失去了效果，数据的计算和处理需要分布式的计算机网络来运行，程序并行的运行在多个主机节点上，已经是现在的软件架构所必需考虑的问题。 远程主机间的进程间通信有几种常见的方式 （1）TCP／IP：TCP／IP是所有远程通信的基础，然而API比较低级别，使用起来比较繁琐，所以一般不会考虑 （2）远程方法调用 Remote Function Call：RPC是早期的远程进程间通信的手段。Python下有一个开源的实现RPyC （3）远程对象?Remote Object：远程对象是更高级别的封装，程序可以想操作本地对象一样去操作一个远程对象在本地的代理。远程对象最广为使用的规范CORBA， （4）消息队列 Message Queue：比起RPC或者远程对象，消息是一种更为灵活的通信手段，常见的支持Python接口的消息机制有 远程分布式主机（Distributed Node） 四、Pyhon并发编程方式 还有一种并发手段并不常见，我们可以称之为伪线程，就是看上去像是线程，使用的接口类似线程接口，但是实际使用非线程的方式，对应的线程开销也不存在的。 greenlet提供轻量级的coroutines来支持进程内的并发。 伪线程（Pseudo－Thread） 四、Pyhon并发编程方式 决定性能调优上限的两个定律：阿曼达定律和Gustafson定律; 系统的性能遵循木桶原理，也就是整体性能是由系统中最短的那块板决定; 整个优化应该采用自上而下的方法，顺序一定不能乱。 并行调优需要注意的方面 五、并行计算优化 首先通过标准性能基准测试程序确保系统的工作状态正常， 比如使用SpecInt， SpecFP，Linpack等得到处理器的性能，对比设计性能指标，可以得知CPU是否工作正常，BIOS或者操作系统中的相关设置是否正确。使用Stream测试程序测试内存系统的性能，Netperf测试网络性能，Fio或者iozone等测试文件系统性能是否正常。在所有调优开始之前，一定要先把基础做好，一定要了解你的系统性能极限； 再来是应用调优，可以调节运行环境，或者有代码的可以调整代码； 最后才会到处理器级别的调优，这里是榨干最后一滴性能的地方。 如何自上而下并行调优 五、并行计算优化 （一）硬件级：性能优化的方法有很多种，第一个叫硬件级调优，就是简单粗暴直接换掉性能低的硬件，比如网卡千兆换到万兆，硬盘从机械的换成SSD等等。很多时候这也不失为一个好办法。 （二）运行级：所谓运行级调优，从运行环境上调整，通过监控整个系统的性能及各项指标看问题所在，然后看能不能通过一些运行参数的调整，比如说内存的