SQL Server 内存 OLTP 项目 Hekaton CTP1 内部概述.docxVIP

SQL Server内存 OLTP项目Hekaton CTP1 内部概述SQL Server 技术文章作者：Kalen Delaney技术审核员：Kevin Liu, Jos de Bruijn, Kevin Farlee, Mike Zwilling, Sunil Agarwal, Craig Freedman, Mike Weiner, Cristian Diaconu, Pooja Harjani发布日期：2013年06月适用产品：SQL Server 2014 CTP1概述：SQL Server已完全集成全新的数据库引擎组件Hekaton，该引擎适合高并发和低阻塞环境。它优化了OLTP内存数据读写工作负载，使OLTP的性能得到飞跃性的提高并显著降低处理延迟。Hekaton可以对表进行内存优化，完全基于事务性并支持Transact-SQL。将只引用Hekaton表的Transact-SQL存储过程编译为机器代码可获得更好的性能。版权声明本文所包含的内容仅代表在发布之日时，Microsoft对所讨论问题的当前看法。文档中提及的所有信息、观点、URL及其它Internet网站引用内容如有变更，恕不另行通知。您需自行承担使用风险。本文档不提供任何Microsoft产品中任何知识产权的任何法律权利。您可以复制和使用本文档作为内部参考。? 2013 Kalen Delaney.保留所有权利。简介在最初设计SQL Server时由于内存价格高昂，因此将不需要处理的数据存储在磁盘上。在过去的30年里内存价格已经大幅下降，因此不再需要这样的设计。与此同时，多核服务器已广泛普及，今天，可以以低于5万美元的价格购买一台具有32内核和1TB内存的服务器。在许多生产环境，OLTP数据库都不会大于1TB，即使这种情况不适用大多数，我们也需要重新评估将数据存储在磁盘上的利弊以及将数据读入内存时产生的I/O开销。此外，在OLTP数据库中，被更新的数据需要重新写回磁盘，由此产生的性能开销不容忽视。内存优化表与基于磁盘的表在存储方式上完全不同，这种新的数据结构可以更加高效的访问和处理数据。技术的发展让服务器拥有更多内核及内存，为此，微软SQL Server团队开始构建为大容量内存和多核CPU进行优化的数据库引擎，该引擎的开发代号为“Hekaton”，本文将详细介绍。设计初衷和目的开发真正的内存数据库需满足三个基本要求：1）将工作所需的大部分或全部数据存储至内存；2）更低的数据操作延迟；3）针对某类特定工作而优化的数据库。由于摩尔定律影响着内存价格，内存容量会越来越大且满足要求（1）并部分满足要求（2）（更大的内存可以降低数据读取延迟，但不影响传统数据库向磁盘写入数据的延迟）。在本文档将要讨论到的SQL Server Hekaton其它特性，能够大幅降低数据修改操作的延迟。由于针对某类工作而优化的系统往往比通用系统更加出色，因此需要专业化的数据库引擎，包括复杂事件处理（CEP），DW/BI和OLTP在内的大多数专业化系统都针对内存结构对数据结构和算法进行了优化。内存容量飞速增长并且价格持续降低是微软开发Hekaton的源动力。此外，64位架构和多核处理器日益普及，在大多数情况下，我们没有理由不把OLTP数据库或所有性能敏感的工作数据集存放在内存中。许多大型金融机构、在线零售和航空订票系统的数据量介于500GB到5TB之间，但密集访问的数据要小很多。截至2012年，即使只有两个内存插槽的服务器也可通过32GB的DIMM获得最大2TB的DRAM（如IBM x3680、X5）。展望未来，将完全可能在几年之内构建DRAM容量在1-10 PB的分布式系统，而每GB内存的单位成本将小于5美元。与此同时，非易失性RAM的应用也只是时间问题。如果大多数或所有应用程序的数据都存储在内存中，SQL Server早期版本针对磁盘所做的数据读取优化就变得毫无意义，因为读取优化是基于所有的页读取都可能需要从磁盘物理读。如果不再从磁盘读取数据，就需要不同的算法优化开销。此外，如果没有磁盘读取和等待锁释放、等待锁可用的时间延迟，包括等待日志写入等相关统计数据也会失去意义。Hekaton将解决这些问题，它通过全新的开放式多版本并发控制解决了等待锁释放的问题，它生成的日志数据量更小，需要的写入次数也更少，从而改善了日志写入等待时间。后续白皮书将详细介绍不使用锁和闩锁的并发管理及内存优化表的日志细节。术语本文将使用Hekaton描述SQL Server中有关内存优化表的技术。相较于内存优化表，SQL Server一直采用的都是基于磁盘的表。本文将出现的术语包括：内存优化表在开发代码为Hekaton的项目中新引入的数据结构构建的数据库表，本文将对其进行详细介绍。基于磁盘的表不同于内存优化表，它