Linux HugePages原理-配置与Oracle性能关系说明.docxVIP

Linux HugePages原理-配置与Oracle性能关系说明一．原理HugePages（大页）是相对于Regular Pages（正规页）来说的。正常linux系统的Regular Pages的大小是4K，而HugePages可以提供比4K更大的存值。下表显示了不同平台下HugePages的值：HW PlatformSource Code TreeKernel 2.4Kernel 2.6Linux x86 (IA32)i3864 MB4 MB *Linux x86-64 (AMD64, EM64T)x86_642 MB2 MBLinux Itanium (IA64)ia64256 MB256 MBIBM Power Based Linux (PPC64)ppc64/powerpcN/A **16 MBIBM zSeries Based Linuxs390N/AN/AIBM S/390 Based Linuxs390N/AN/A相关参数介绍(1)Page Table 是操作系统上的虚拟内存系统的数据结构，其用来存储虚拟内存地址和物理内存地址之间的映射关系。这就意味着在虚拟内存系统上，我们访问内存时，是先访问Page Table，然后根据Page Table 中的映射关系，隐式的转移到物理的内存位置。当一个进程使用一块内存来工作时，进程使用的page 从local page table 中引用。 Local page table中的entries 又引用了System-Wide Page Table的page， 该page 指向了实际的物理内存地址。所以，理论上，用户的进程（如oracle进程），根据local page table中的entry 指向了system page table中的entry，而System page table中的entry 指向了实际的物理内存。当然，也有可能，2个不同的O/S 进程指向了system-wide page table 中同一个entry，如下图所示，最常见的原因是Oracle SGA的使用。正常情况下，linux对内存的访问如下图所示Process（进程）先访问system page table（系统的页表）通过页表的映射关系寻找Physical Memory（实际的物理内存）配置了HugePages的流程图如下：流程大致是一样的，只是system pagetable 里面多了HPage的映射关系，以及物理内存中有了更大的内存块区域比如例子里面的4096K(2) TLB(Translation Lookaside Buffer) 是CPU 中的一块buffer 或者cache，其大小的固定的， TLB中包含了部分Page Table，用来快速进行虚拟地址的转换。(3) hugetlb 是TLB中的一个entry，其指向HugePage（大于4k或预定义的一个large page）。 HugePage 通过hugetlb entries来实现，我们也可以说HugePage 是hugetlb page entry的一个句柄。 在MOS 文档：Note 261889.1中，二者是几乎是相同的概念。相当于hugetlb给TLB指路，它指向的是HugePage的地址。二．作用（优势）2.1 特点(1)不需要内存页的交换，无需用到swap(2)减轻TLB的压力a.从进程对linux内存的访问方式我们知道，HugePage让映射关系对应的链接条目变少了，需要链接TLB的条目也相应减少了b.由于HugePage的存值比较大，覆盖比较大的范围，因此对映射到SGA中的空间也会大c.减少TLB的条目链接意味着更多的其他地址空间的链接。(3)降低pagetable的消耗每个一个page table 的entry最大需要64 bytes的内存，如果我们管理50GB的内存,那么Pagetable 就需要约800MB的内存空间. 如果我们使用256MB的hugepage，同样对于50G的内存，我们只需要40MB的pagetable。 举例说明：按普通模式，每个page 4k，那么需要的entries个数是：(50*1024*1024/4)每个entry 是64bytes，所以总的内存大小就是：(50*1024*1024/4) * 64/1024/1024=800M注意，这只是一个进程的page table，如果有10个进程，那么光处理这些page 就需要800*10，约8G的内存空间，而我们总共的内存也不过50G而已，所以大内存的情况下，需要HugePage就显的尤其重要。HugePage 最大的大小从2M到256MB，按2MB算：(50*1024/2)*64/1024/1024= 1.6M10 进程也才16