Linux内核的文件预读.PDFVIP

Linux 内核的文件预读 007-11-20 10:05 吴峰光 软件世界 Linux 文件预读算法磁盘I/O 性能的发展远远滞后于CPU 和内存，因而成为现代计算机系统 的一个主要瓶颈。预读可以有效的减少磁盘的寻道次数和应用程序的I/O 等待时间，是改进 磁盘读I/O 性能的重要优化手段之一 编者按：Linux 文件预读算法磁盘I/O 性能的发展远远滞后于CPU 和内存，因而成为现 代计算机系统的一个主要瓶颈。预读可以有效的减少磁盘的寻道次数和应用程序的I/O 等待 时间，是改进磁盘读I/O 性能的重要优化手段之一。本文作者是中国科学技术大学自动化系 的博士生，他在1998 年开始学习Linux，为了优化服务器的性能，他开始尝试改进Linux kernel，并最终重写了内核的文件预读部分，这些改进被收录到Linux Kernel 2.6.23 及其 后续版本中。 从寄存器、L1/L2 高速缓存、内存、闪存，到磁盘/光盘/磁带/存储网络，计算机的各 级存储器硬件组成了一个金字塔结构。越是底层存储容量越大。然而访问速度也越慢，具体 表现为更小的带宽和更大的延迟。因而这很自然的便成为一个金字塔形的逐层缓存结构。由 此产生了三类基本的缓存管理和优化问题： ◆预取(prefetching)算法，从慢速存储中加载数据到缓存; ◆替换(replacement)算法，从缓存中丢弃无用数据; ◆写回(writeback)算法，把脏数据从缓存中保存到慢速存储。 其中的预取算法，在磁盘这一层次尤为重要。磁盘的机械臂+旋转盘片的数据定位与读 取方式，决定了它最突出的性能特点:擅长顺序读写，不善于随机I/O，I/O 延迟非常大。由 此而产生了两个方面的预读需求。 来自磁盘的需求 简单的说，磁盘的一个典型I/O 操作由两个阶段组成： 1.数据定位 平均定位时间主要由两部分组成：平均寻道时间和平均转动延迟。寻道时间的典型值是 4.6ms。转动延迟则取决于磁盘的转速：普通7200RPM 桌面硬盘的转动延迟是4.2ms，而高 端10000RPM 的是3ms。这些数字多年来一直徘徊不前，大概今后也无法有大的改善了。在 下文中，我们不妨使用8ms 作为典型定位时间。 2.数据传输 持续传输率主要取决于盘片的转速（线速度）和存储密度，最新的典型值为80MB/s。 虽然磁盘转速难以提高，但是存储密度却在逐年改善。巨磁阻、垂直磁记录等一系列新技术 的采用，不但大大提高了磁盘容量，也同时带来了更高的持续传输率。 显然，I/O 的粒度越大，传输时间在总时间中的比重就会越大，因而磁盘利用率和吞吐 量就会越大。简单的估算结果如表1所示。如果进行大量4KB 的随机I/O，那么磁盘在99% 以上的时间内都在忙着定位，单个磁盘的吞吐量不到500KB/s。但是当I/O 大小达到1MB 的 时候，吞吐量可接近50MB/s。由此可见，采用更大的I/O 粒度，可以把磁盘的利用效率和 吞吐量提高整整100倍。因而必须尽一切可能避免小尺寸I/O，这正是预读算法所要做的。 表1 随机读大小与磁盘性能的关系 来自程序的需求 应用程序处理数据的一个典型流程是这样的:while(!done) { read(); compute(); }。 假设这个循环要重复5 次，总共处理5 批数据，则程序运行的时序图可能如图1 所示。 图1 典型的I/O 时序图 不难看出，磁盘和CPU 是在交替忙碌：当进行磁盘I/O 的时候，CPU 在等待；当CPU 在 计算和处理数据时，磁盘是空闲的。那么是不是可以让两者流水线作业，以便加快程序的执 行速度？预读可以帮助达成这一目标。基本的方法是，当CPU 开始处理第1批数据的时候， 由内核的预读机制预加载下一批数据。这时候的预读是在后台异步进行的，如图2 所示。 图2 预读的流水线作业 注意，在这里我们并没有改变应用程序的行为：程序的下一个读请求仍然是在处理完当 前的数据之后才发出的。只是这时候的被请求的数据可能已经在内核缓存中了，无须等待， 直接就能复制过来用。在这里，异步预读的功能是对上层应用程序“隐藏”磁盘I/O 的大延 迟。虽然延迟事实上仍然存在，但是应用程序看不到了，因而运行的更流畅。