- 1、本文档共8页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
Linux内核的文件预读-cwlseu
Linux 内核的文件预读
007-11-20 10:05 吴峰光 软件世界
Linux 文件预读算法磁盘I/O 性能的发展远远滞后于CPU 和内存,因而成为现代计算机系统
的一个主要瓶颈。预读可以有效的减少磁盘的寻道次数和应用程序的I/O 等待时间,是改进
磁盘读I/O 性能的重要优化手段之一
编者按:Linux 文件预读算法磁盘I/O 性能的发展远远滞后于CPU 和内存,因而成为现
代计算机系统的一个主要瓶颈。预读可以有效的减少磁盘的寻道次数和应用程序的I/O 等待
时间,是改进磁盘读I/O 性能的重要优化手段之一。本文作者是中国科学技术大学自动化系
的博士生,他在1998 年开始学习Linux,为了优化服务器的性能,他开始尝试改进Linux
kernel,并最终重写了内核的文件预读部分,这些改进被收录到Linux Kernel 2.6.23 及其
后续版本中。
从寄存器、L1/L2 高速缓存、内存、闪存,到磁盘/光盘/磁带/存储网络,计算机的各
级存储器硬件组成了一个金字塔结构。越是底层存储容量越大。然而访问速度也越慢,具体
表现为更小的带宽和更大的延迟。因而这很自然的便成为一个金字塔形的逐层缓存结构。由
此产生了三类基本的缓存管理和优化问题:
◆预取(prefetching)算法,从慢速存储中加载数据到缓存;
◆替换(replacement)算法,从缓存中丢弃无用数据;
◆写回(writeback)算法,把脏数据从缓存中保存到慢速存储。
其中的预取算法,在磁盘这一层次尤为重要。磁盘的机械臂+旋转盘片的数据定位与读
取方式,决定了它最突出的性能特点:擅长顺序读写,不善于随机I/O,I/O 延迟非常大。由
此而产生了两个方面的预读需求。
来自磁盘的需求
简单的说,磁盘的一个典型I/O 操作由两个阶段组成:
1.数据定位
平均定位时间主要由两部分组成:平均寻道时间和平均转动延迟。寻道时间的典型值是
4.6ms。转动延迟则取决于磁盘的转速:普通7200RPM 桌面硬盘的转动延迟是4.2ms,而高
端10000RPM 的是3ms。这些数字多年来一直徘徊不前,大概今后也无法有大的改善了。在
下文中,我们不妨使用8ms 作为典型定位时间。
2.数据传输
持续传输率主要取决于盘片的转速(线速度)和存储密度,最新的典型值为80MB/s。
虽然磁盘转速难以提高,但是存储密度却在逐年改善。巨磁阻、垂直磁记录等一系列新技术
的采用,不但大大提高了磁盘容量,也同时带来了更高的持续传输率。
显然,I/O 的粒度越大,传输时间在总时间中的比重就会越大,因而磁盘利用率和吞吐
量就会越大。简单的估算结果如表1所示。如果进行大量4KB 的随机I/O,那么磁盘在99%
以上的时间内都在忙着定位,单个磁盘的吞吐量不到500KB/s。但是当I/O 大小达到1MB 的
时候,吞吐量可接近50MB/s。由此可见,采用更大的I/O 粒度,可以把磁盘的利用效率和
吞吐量提高整整100倍。因而必须尽一切可能避免小尺寸I/O,这正是预读算法所要做的。
表1 随机读大小与磁盘性能的关系
来自程序的需求
应用程序处理数据的一个典型流程是这样的:while(!done) { read(); compute(); }。
假设这个循环要重复5 次,总共处理5 批数据,则程序运行的时序图可能如图1 所示。
图1 典型的I/O 时序图
不难看出,磁盘和CPU 是在交替忙碌:当进行磁盘I/O 的时候,CPU 在等待;当CPU 在
计算和处理数据时,磁盘是空闲的。那么是不是可以让两者流水线作业,以便加快程序的执
行速度?预读可以帮助达成这一目标。基本的方法是,当CPU 开始处理第1批数据的时候,
由内核的预读机制预加载下一批数据。这时候的预读是在后台异步进行的,如图2 所示。
图2 预读的流水线作业
注意,在这里我们并没有改变应用程序的行为:程序的下一个读请求仍然是在处理完当
前的数据之后才发出的。只是这时候的被请求的数据可能已经在内核缓存中了,无须等待,
直接就能复制过来用。在这里,异步预读的功能是对上层应用程序“隐藏”磁盘I/O 的大延
迟。虽然延迟事实上仍然存在,但是应用程序看不到了,因而运行的更流畅。
预读的概念
预取算法的涵义和应用非
您可能关注的文档
- GB_18282005点燃式发动机汽车排气污染物排放限值及测量方法.PDF
- GB泵使用说明书-MiltonRoy.PDF
- GC-MS结合保留指数分析侧柏叶挥发成分-中国现代应用药学.PDF
- GDX1小盒软包透明纸热封缺陷的视觉检测系统-包装工程.PDF
- GenovaNano分光光度计微量配件配件安装和操作手册-Jenway.PDF
- GenovaPlus分光光度计操作手册-Jenway.PDF
- GeO晶体光谱的理论研究-西南民族大学学报(自然科学版).PDF
- Ge组分分布对基区杂质非均匀分布的SiGeHBT温度特性-物理学报.PDF
- Gfast–功率频谱密度规范修正ITU.PDF
- GFP标记内生枯草芽孢杆菌Y10及其在白菜体内的定殖-生态学杂志.PDF
- Unit 6 Get Close to Nauture Lesson 22 -课件-2025-2026学年度北京版英语四年级上册.pptx
- Unit 7 Be Together Lesson 23 -课件-2025-2026学年度北京版英语四年级上册.pptx
- 2025食品饮料行业AI转型白皮书-2025食品饮料行业数智化转型领先实践.pdf
- Unit 7 Be Together Lesson 24 -课件-2025-2026学年度北京版英语四年级上册.pptx
- Unit 7 Be Together Lesson 25 -课件-2025-2026学年度北京版英语四年级上册.pptx
- Unit 7 Be Together Lesson 26 -课件-2025-2026学年度北京版英语四年级上册.pptx
- 2025年广州体育职业技术学院单招职业倾向性考试题库完美版.docx
- 软件公司员工考勤异常处理.doc
- 2025年土地登记代理人之土地登记相关法律知识题库500道及完整答案【有一套】.docx
- 2025年四平职业大学单招职业适应性考试题库含答案.docx
文档评论(0)