突破内存墙--CPU新思路.doc

突破“内存墙”-UcomPower的CPU新思路 1.概述 2.缓存和内存墙的介绍 3.LRU缓存算法的错误和我们的发现 4.评述高速CPU的两种常见思路 5.CPU设计的新思路 6.市场机会 1. 概述 近30年来，CPU核心的速度提高了近千倍，但是内存延迟未见减少。CPU核心越 来越快，而且可以很容易地做得更快，但是因为有内存延迟，更多、更快的CPU 核心只导致核心的空闲更多，所以内存延迟已经成为CPU性能的瓶颈。内存延迟 这个瓶颈被称为“内存墙”。 对抗内存延迟的最有效手段是CPU缓存。有了缓存，CPU就不用那么频繁地到内 存那里去取数据。依靠CPU缓存，CPU可以避免高达99%的内存访问，所以CPU 缓存是CPU里面最重要的部件，由于内存延迟相比于CPU核心的速度实在是太高， 所以CPU缓存对CPU实际性能的影响就远远超过了CPU核心。 现在的技术趋势是CPU缓存越来越大，Intel最新的CPU的缓存已经高达12MB。 CPU芯片中超过80%的晶体管都被用作了缓存，相比之下CPU核心只用到了百分 之十几的资源。CPU缓存的理论和设计在过去二三十年中基本没有变化，几乎全 部的CPU和GPU芯片的缓存都是采用的LRU替换算法及其变种。LRU替换算法长 期以来被认为是最优的，但是，实际情况并非如此。 在大量艰苦的实验基础上，我们发现了一个内存访问规律，并在这个发现的基础 上，发明了一个新的CPU缓存替换算法，我们称之为WLRU替换算法（已经获得 美国专利）。这是一个重大的理论突破，WLRU替换算法可以降低网络应用的CPU 缓存失误率近50%，降低三维图形和数字视频的缓存失误率超过30%。换句话来 说，新的缓存算法可以令CPU的网络处理能力提高一倍，三维图形和数字视频的 处理能力提高50%以上。在过去30年中，能够降低5%的缓存失误率都是非常大 的成就。我们的WLRU替换算法对缓存性能的提高已经接近了缓存替换算法的理 论极限。缓存是CPU性能瓶颈，我们的缓存设计可以大幅提高任何一种CPU、GPU 或者视频处理芯片的性能。这项技术对于像Intel和Apple这些公司的意味着什 么是不言而喻的。在过去几十年里，CPU领域的大部分创新都集中在CPU核心，也就是计算部件方 面。CPU缓存虽然也是研究的重点，但是一直没能有什么创新，各个厂家的CPU 的缓存设计大同小异。这是因为在CPU缓存的基础理论方面有许多似是而非的说 法，这些错误的理论假设束缚了大家的创造力。 我们发现的内存访问规律和一 系列原创的分析方法，澄清了许多概念，彻底改写了教科书。我们的发现和发明 是CPU缓存最基本理论的突破。WLRU缓存替换算法的性能已经接近理论极限， 而且WLRU算法并不会令电路复杂化，只是增加不到2%的晶体管而已。 Intel具有雄厚的资金和丰富的人力资源，但是Intel的技术积累和优势主要在 CPU核心的设计方面。在微软等软件公司把软件系统做得越来越庞大，耗用资源 越来越多的情况下，内存墙的存在阻挡了Intel的CPU性能的大幅提高，而且目 前还看不到任何彻底解决的希望。微软公司由于其新的操作系统在Intel最新的 CPU上运行都很慢，严重影响了用户体验，以致微软总裁鲍尔默抱怨道“Intel rubbish at making chips”。因为内存墙，Intel的竞争对手都陆续赶上了她， Wintel陷入了困境。 利用这个CPU缓存上的重大技术突破，我们已经在中国成立了一家公司，用很低 的研发费用设计和开发高性能、低功耗、低成本的CPU。这在业内是个巨大的商 业机遇。如果有CPU厂家愿意使用我们的缓存专利或者IP，我们也非常愿意与 同行分享。内存墙问题昭示着CPU作为大投入，高利润行业的终结。由于我们在 CPU缓存上的突破，我们的简单CPU依然可以有世界领先的性能。内存墙重新定 义了CPU的游戏规则，我们的新技术使得中小型IC公司也可以开发出与Intel 的CPU相抗衡的产品。 2. 缓存和内存墙的介绍 1）延迟和缓存的思想无处不在 为了说清楚延迟和缓存的概念，我们在这里用一些例子来做一点很浅显的技术背 景介绍。 CPU缓存可以说是CPU芯片最简单的部件，却是最最重要的。CPU缓存占芯片资 源近90%。CPU缓存就是一小块速度很高，延迟基本没有或者很小，但是容量有 限的存储区。在我们的日常生活中，缓存的思想无处不在，哪里有延迟，哪里就 有缓存。例如，衣服都是有衣兜的。衣兜里总是放着最需要的东西，衣服的衣兜 就是缓存。缓存还可以分几级，比如衣兜是第一级，手提包是第二级，拉杆箱就 是第三级。二级缓存比一级缓存延迟大些，容量也大。缓存是非常重要的，如果 没有衣兜和提包，我们在外面要用的任何东西都必须回家拿，路上来回就是两个 小时。那样的话，一天到晚