linux内核的预取算法.pdf

摘 要 摘要 计算机系统中最严重的不平衡来自CPU与I／O之间持续扩大的性能差距。磁盘 传输带宽的改善速度跟不上CPU计算能力的增长，数据访问延迟的改善更是严重地 滞后。预取作为提升磁盘I／o性能的一种重要技术，可以有效地将来自应用程序的同 步的小I／o转化为异步的大I／O，从而减少访问延迟，并促成I／O的并行化。 对顺序文件访问的预读是现代操作系统的一项必备功能。Linux内核在虚拟文件 系统层实现了一个通用的文件预读算法。随着Ljnux的广泛应用和在越来越多样化 的负载环境中运行，它的预取算法遇到了很多微妙问题的挑战。例如：当内存压力较 大的时候，预读页面会被过早地回收，出现预读抖动；对已经缓存在内存中的页面进 行预读操作是毫无意义的；被中断的读请求及其重试读可能使顺序性检测算法陷于 混乱。本文设计了一个模块化的按需预读框架。通过引入一对预取触发条件，使一些 原本复杂的问题以统一和自然的方式得到了处理。在此基础上，对访问模式的检测 和预读逻辑被简化，并可以独立地进行扩展。 随着多核、多线程处理器成为新的硬件设计方向，软件的并行化也随之成为新 的潮流，并带来更多的并发l／o。如何在交织的并发I／O中有效地识别和处理顺序流， 己经成为预取算法所面临的一个现实挑战。我们在按需预读框架的基础上，设计并实 现了被动和主动两种顺序流的检测和预读算法，引入页面状态作为对不可靠的预读状 态变量的必要补充，采用更宽松的顺序性判决条件。它们可以有效地支持：淹没在随 机读中的顺序访问：对单个文件实例的并发访问产生的交织访问模式；稀疏的顺序 读；局部重排序的NFS顺序读；高密度的随机读区域；对大矩阵的列扫描，等等。 被动算法在单线程的情况下不会造成额外的开销，而在多线程情况下的时空复 杂度与并发度的大小无关。主动算法通过高效的检测逻辑，确保发现顺序流和随机 访问的热点区域，自适应的预读大小可以避免预读抖动，因而往往可以获得更好的 性能。实验表明本文算法相对传统预读有突出的优势：在发生预读抖动的情况下，网 络输出流量可达到传统算法的3—4倍；在随机干扰之下的顺序读性能可提高29％： 交织读的性能是传统算法的4—27倍，同时应用程序可见延迟改善了35倍；在NFS 文件服务中，性能提高了1．8倍；在Iighttpd文件服务中，磁盘占用率降低了26％， 网络输出提高了17％；在随机文件加载实验中，主动检测算法可以获得3倍于传统 I 摘 要 预读的性能。本文所述的预读算法具有重大的应用价值，其中的按需预读基本框架 2．6．23和2．6．24内核采用。 和顺序流的被动预读算法已先后被Linux 关键词：Linux操作系统 I／O性能 文件预取 并发I／O访问模式顺序性检测 页面缓存预读抖动 Abstract most betweenCPUandI／O hascfeatedthe outstandIng The speed ever．increasinggap to ofdisk hasbeenunable in throughput imbalance systems．TheimproVement computer theI／O hasbeen behind withthe CPU，and delay la