大数据处理中非均匀存储访问技术的研究.doc

大数据处理中非均匀存储访问技术的研究 　　[摘要]目前，大数据的高性能处理日益重要，本文通过实验，对非均匀存储访问的各种情况进行了详细深入的研究，对访问时间差别进行了深入的分析，揭示了在非均匀存储访问系统中线程本地存储访问和远程存储访问的性能差异。发现了读写内存、不同访问距离等各种情况下线程内存访问的性能特点。得出了在线程调度中的重要结论，对应用程序在进行大数据处理的线程调度执行提出了重要的建议。 　　[关键词]大数据；非均匀存储访问；线程调度 　　[中图分类号]C37 [文献标识码]A [文章编号]1672-5158（2013）06-0031-02 　　引言 　　在当今时代，互联网迅猛发展，各行各业数据量猛增。数据种类繁多，数据量巨大，大数据时代来临。随着大数据的来临，大数据处理成为越来越有价值的工作，而大数据的高性能处理则至关重要。 　　目前大数据处理大都采用多处理器系统，而多处理器系统中的非均匀存储访问架构为进行大数据高性能处理的主流体系结构之一。 　　1 非均匀存储访问技术特点 　　1.1 多处理器系统模式 　　在多处理器系统中，比较流行的有三种模式，即对称多处理模式、大规模并行处理模式、非均匀存储访问模式。对称多处理模式是在一个主存上连接着两个或两个以上的处理器，这些处理器共享一个主存，也被称为均匀性存储访问系统。大规模并行处理模式是分布式存储器模式，可扩展性比较好，但是需要并行编程和并行编译，在软件系统构建上比较复杂，使用不便。非均匀存储访问架构是将若干个单元通过专门的互联设备联结在一起组成分布式和共享内存系统。每一个处理器可以访问自己单元的存储器，也可以访问其他单元的存储器，所有访存有远近、时延长短之分，称为非均匀存储访问。 　　1.2 非均匀存储访问架构的性能优势 　　非均匀存储访问架构的性能优势主要体现在以下几个方面：第一，非均匀存储访问处理器访问同一单元上的内存的速度比一般对称多处理模式超出一倍。第二，非均匀存储访问的突破性技术彻底摆脱了传统的超大总线对多处理结构的束缚，它大大增强单一操作系统可管理的处理器、内存和I/O插槽。最后，非均匀存储访问系统提供内存互联的硬件结构，这种技术可以开发新型动态的分区系统。系统分区可以允许系统管理员根据用户工作负荷的要求，简单地管理和使用CPU和内存资源，从而达到最高的资源利用率和最佳的性能。正因为以上的原因，非均匀存储访问架构得到越来越广泛的应用。 　　2 非均匀存储访问技术线程访问时间研究 　　非均匀存储访问系统的基本特征是具有多个CPU模块，每个CPU模块由多个核（如6个）组成，并且具有独立的本地内存、I/O槽口等。由于其节点之间可以通过互联模块进行连接和信息交互，因此每个CPU可以访问整个系统的内存。但是线程访问远近程存储器的时间是不一样的。 　　我们使用的非均匀存储访问系统是四个主频为2.2GHZ的双核AMD opteron多处理器，每个处理器有2x1GB DDR400 DRAM内存。如（图1）所示。四个处理器由coherent HyperTransport（相关性超传输）总线连接，每个处理器有一条双向HyperTransport（超传输）总线和I/O连接，两条双向相关性超传输总线分别和另外两个双核处理器连接。每个双向超传输总线的数据传输带宽为4 GB/s。系统有4个节点NO，N1，N2，N3。每个节点有自己的内存控制器（MCT），连接着本节点的内存。每个节点有2个核CO，c1，两个核连接着一个系统需求接口（sRI），系统中间有一个交叉设备XBar，SRI、内存控制器、各种各样的超传输总线都和XBar连接。 　　在非均匀存储访问系统中，内存需要可以来自于本节点的核，也可以通过超传输总线来自于其它节点的核。前者叫做本地访问，对内存的访问要求从核到SRI，到XBAR，再到MCT；后者叫做远程访问，内存访问要求的路线是从远程节点的核通过超传输总线到达XBAR，从XBAR再到MCT。每个节点的SRI、XBAR、MCT都有缓冲区，缓冲区用来存放需要传送的数据包。 　　在非均匀存储访问系统里，影响应用程序处理大数据的性能主要有以下几个方面： 　　①远程内存访问。处理器访问远程存储器的次数多少会直接影响一个应用程序的性能。提高非均匀存储访问系统性能的策略之一就是减少远程访问的次数。要尽可能地让进程在本节点执行。 　　②相互连接的超传输总线带宽的影响。 　　③内存竞争的影响。当许多处理器在同一时刻访问一个内存单元的时候就会出现内存竞争，内存竞争会增加内存响应时间，降低程序的执行效率。恰当的数据分配策略会减少内存竞争。 　　④内存带宽的影响。 　　⑤缓冲区影响。在非均匀存储访问多处理器系统中，缓冲区在性能上发挥着重要的作用。如果处理器在