基于多核处理机构建分布式系统的关键技术分析-analysis on key technologies of building distributed system based on multi-core processor.docxVIP

第1章绪论随着计算机技术的发展，各学科对于数据计算的规模和精确性都有了更高的要求。这些应用问题对高性能计算提出了更为迫切的需求，推动了分布式系统和并行计算技术的发展，而计算机技术的每一次变革，又会赋予分布式系统和并行计算新的动力。并行计算机体系经历了并行向量处理机、大规模并行多处理机等发展阶段，直到并行计算和分布式系统进一步融合的对称多处理机系统(SymmetricalMulti-Processing，简称SMP)集群系统逐渐得到推广。近年，随着多核处理机的普及，产生了以多核处理机的分布式系统为代表的新型多核体系结构，这也标志着并行计算迎来新一轮的高速发展。1.1研究背景计算机网络无处不在。各种网络和以其作为通信设备的计算机应用系统“都可以在分布式系统的标题下研究”[1]，正如图灵奖得主DennisJ所言：“任何一个高效的计算机系统都是一个分布式系统”。分布式系统的例子在我们日常生活工作中随处可见，大学里的工作站网络就是一个例子。该系统包含一个单一的文件系统，允许所有的机器通过相同的方法并且使用相同的路径名来访问所有文件，系统整体外观和行为与传统的单处理器分时系统相似，这个系统可以看作是一个分布式系统。随着计算机技术的发展，分布式系统也在不断地变革之中。当前多核处理器的普及将会引发一轮新的软硬件革命[2][3][4]，基于多核处理机构建分布式系统成为分布式系统新的发展趋势。分布式系统分布式系统最早的定义是Eckhouse于1978年提出：“是与系统资源实现物理上和逻辑上互连的处理单元的集合；为了协同执行应用程序，能够对分散的资源进行系统范围内的控制。”[5]Eckhouse的定义属于工程方案的研究，主要是从控制角度和协同工作进行叙述的，这有着深刻的历史背景。当时微处理器还处于起步阶段，计算机基本是由小规模集成电路构造，计算机的价格可观，产量低下，因此计算机应用范围很小；再者当时还没有独立的计算机学科，计算机专业属于自动控制学科。经过十多年的研究，分布式系统在理论上已日趋成熟，但由于技术、市场的原因离大规模的应用还有一定的距离。上世纪80年代中期起，技术领域的两项革命给计算机应用带来了巨大的变化。计算机微处理器的开发及其性能的迅速提升，使个人计算机逐渐普及；高速计算机网络的发明使得利用网络技术将成千上万的计算机联系起来成为可能。另一方面，据统计，全球PC有70%以上的时间处于闲置状态，这是对资源的极大浪费。资源的共享是促进分布式系统构建的重要推动力，分布式系统可以收集这些闲置的资源加以利用。技术上的可行性和实际的需求使分布式系统得到了广泛的应用。Coulouris在1988年给出分布式系统的定义：“分布式系统是硬件或软件组件分布在网络计算机上，仅仅通过消息传递进行通信和动作协调的系统。”[1]从中可以明显感受到计算机网络发展对分布式系统的影响。计算机技术的每一次发展都赋予分布式系统新的内涵。2002年，TanenbaumAS给出定义：“分布式系统是若干独立计算机的集合，这些计算机以单一的相关系统面貌出现在用户面前。”[6]Tanenbaum指出：定义包含了两个方面的内容。第一是有关硬件的：组成系统的计算机是独立的；第二是有关软件的：对用户来说，他们就像与一部计算机打交道。这两方面共同阐明了分布式系统的本质，缺一不可。Tanenbaum的定义是学术性的，为进行学术研究提供了广阔的空间。多核处理器一直以来，处理器芯片厂商都通过不断提高主频来提高处理器的性能。但随着芯片制造工艺的不断进步，从体系结构来看，传统处理器体系结构面临瓶颈，晶体管的集成度已超过上亿个，很难单纯通过提高主频来提升性能，而且主频的提高同时带来功耗的提高，也是直接促使单核转向多核的深层次原因；从应用需求来看，日益复杂的多媒体、科学计算、虚拟化等多个应用领域都呼唤更为强大的计算能力。在这样的背景下，各主流处理器厂商将产品战略从提高芯片的时钟频率转向多线程、多内核。IBM在2001年发布了双核RISC处理器POWER4，它将两个64位PowerPC处理器内核集成在同一颗芯片上，成为首款采用多核心设计的服务器处理器。随后，IBM、Sun、HP相继推出多核服务器处理器。而真正意义上让多核处理器进入主流桌面应用，是AMD在2005年推出专门用于台式机的Athlon64X2双核系列产品。同年，英特尔发布了第一款双核心处理器——奔腾至尊版840之后，多核技术迅猛发展。2007年，英特尔的四核心处理器量产。由于多核处理器的高性能和低功耗，已成为处理器市场的主流，现今几乎所有发售的服务器、PC和笔记本电脑都内置多核处理器。在多核处理器出现之前在计算机上的并行多是采用超线程的方式实现并行，即把两个逻辑内核模拟成两个物理芯片，减少CPU的闲置时间，提高CPU运行效率，如图1-1(a)。实