计算机系统结构与并行处理3ccxtjg6.pptVIP

Cache基本原理 基本概念 命中、命中率、失效、失效率、块、命中访问时间、失效访问时间(miss penalty) 设计问题 地址映象 替换策略 更新策略 容量 * * 当代Cache的特征 为了弥补主存速度不足，在存储体系结构中出现了“高速缓冲-主存”层次，使之从ＣPU观察，如同具有Cache的速度，又具有主存的容量。 Cache的容量不断地增大，Cache的管理实现全硬化，Cache的部件已高度集成 。 * * 程序访问局部化性质 对大量典型程序的运行情况进行分析：在一个较短的时间间隔内，程序所产生的访存地址往往集中在存储器地址空间的小范围内。指令地址分布基本上是连续的，循环程序段和子程序段要反复多次执行。因此，对此类地址的访问具有时间上集中分布的倾向。 数据分布的集中倾向不如指令明显。但对数组的存储和访问以及工作单元的选择可使其地址相对集中。 这种对局部范围的存储器地址频繁访问，而对此范围外的地址区域访问甚少的现象称为程序访问局部化性质 。 * * Cache实现的基础 在时间间隔（t—T，t）内被访问的信息集合用W（t，T）表示，也称之为工作集合。 根据程序访问局部化性质，W（t，T）随时间的变化是相当缓慢的。把这个集合从主存中移至（读出）一个能高速访问的小容量存储器内，供程序在一段时间内随时访问，大大减少程序访问主存的次数，从而加速程序的运行。 这个介于主存和CPU之间的高速小容量存储器就称为Cache。所以，程序访问局部化性质是Cache得以实现的原理基础，而高速（能与CPU匹配）则是Cache得以生存的性能基础。 * * Cache基本结构 如图3-35所示。Cache和主存都分成块，每块由若干个（字节）组成，“块”相似于“主存-辅存”层次中的“页”。 主存地址通过主存-Cache地址映象变换机构判定该字所在块是否已在Cache中。如在，则主存地址变换成Cache地址，访问Cache；如不在，则发生Cache块失效（Cache不命中），需访问主存，且将包含该字的一块信息装入Cache。若Cache已满，则按某种替换策略，把该块替换进Cache。 * * Cache的设计要求 在价格允许的前提下，提高命中率和缩短访问时间，尽可能减少因不命中造成的时间延迟以及尽可能减少为修改主存所化的时间开销。 为了使Cache能与CPU在速度上相匹配，一般采用与CPU相同的半导体工艺所制成的大规模集成电路芯片。为了更好地发挥Cache的高速性，在物理位置上，使Cache尽量靠近处理机或就在处理机中，而不放在主存模块中。 * * Cache 写直达通路 在Cache发生块失效时，由于主存调块的时间是微秒级，不能在此时采用切换任务（即程序换道）方式来减少CPU等待时间，所以，除了Cache到CPU的通路外，在主存和CPU之间还有直接通路。这样，在Cache块失效时，就不必等主存把所需单元所在块调入Cache后，再由CPU对其进行读取；而是使Cache调块与CPU访问主存同时进行；同样，也可实现CPU直接写入主存的写直达。故Cache既是“Cache-主存”层次中的一级，又是CPU与主存间的一个旁视存储器。 * * Cache的读操作 CPU进行读存储器作时，根据其送出的主存地址区分两种不同情况： 一种是需要的信息已在Cache中，那末直接访问Cache就行了； 另一种是所需信息不在Cache中，就要把该单元所在的块从主存调Cache。后一种情况又有两种实现方法：一种是将块调入Cache后再读入CPU；另一种读直达（读直达通路）。在调入新的块时，如果Cache已占满，这就产生替换，由替换控制部件按已定的替换算法实现。 * * Cache的写操作 Cache中的块是主存中相应块的副本。如果程序执行过程中要对某块的某单元进行写操作，有两种方法： 标志交换方式（写回法）：即只向Cache写入，并用标志注明，直至该块在替换中被排挤出来，才将该块写回主存，代替未经修改的原本； 写直达法：即在写入Cache的同时，也写入主存，使原本和副本同时修改。 还有一种写操作情况：当被修改的单元不在Cache，写操作可直接对主存进行，而不必把包含该单元的块调入Cache后再修改，因为程序访问局部化对写操作不很明显。 * * Cache的透明性 由于Cache的地址变换和块替换算法的实现均依靠硬件，故“Cache-主存”层次对系统程序员和用户都是透明的，且Cache对CPU与主存间的信息通信也是透明的。对于Cache的透明性所可能引发的问题及其影响需要慎重对待。 * * 任务切换对失效率的影响 由于Cache的容量不可能很大（与主存相比），多个进程的工作区很难同时都留驻Cache。因此，在任务切换时造成Cache失效。失效率大小和任务切