列存储数据库关键技术综述.docVIP

第37卷第12期计算机科学V ol. 37 No. 12 2010年12月ComputerScience Dec 2010列存储数据库键技木述 李超张明博邢春晓胡劲松 (清华大学信息技术研究院北京100084) 摘要随着互联网扌支术的发展、映件的不断更新、企业及政府信息化的不断深入，应用的复杂性耍求越来越高， 推动希数据存储技术向着海鼠数据、分析数据、智能数据的方向发展，以便为数据仓库、在线分析提供高效实时的技术支持。 基于行存储的数据库技术面临新的问题，己经出现了技术瓶颈。近些年来，一种新的数据存储理念， 即基于列存储的关系型数据库(简称列数据库，下同)应运而生。列数据库能够快速发展，主耍原因是其复杂査询效率高, 读磁盘少，存储空间少，以及由此带来的技术、管理和应用优势。对列数据库技术的基本现状、 关键支撐技术以及应用优势进行了介绍和分析。 关键词列数据库,列存储，数据压缩，延时物化，成纠迭代，不可见连接，数据仓库，商业智能,T PCH中图法分类号TP391 文献标识码A Survey and Review on Key Technologies of Co山mn Oriented Database Systems Ll Chao ZH ANG Ming boXING Chun xiao H U Jin song (Research Institute of Inform ation Technology, Tsinghua U niversily, Beijing 100084, China) Abstract Column oriented database is a kind of new database storage technology that stores dat a according t o column ( not traditionally row) . T he database pioneers such as Dr. Michael Stonebraker are adviKating and exploring the new theory and technology for column oriented database .The main features of it arc good query efficiency, less disk access, less st oragc, and significant improvement of database performance? Column oriented dat abase is an ideal archit ecture for data w arehouse nat ively, and thus shows a good potential in supporting highly eff icient business intelligence applica t ions? This new technology is promising in both academic and business, therefore attracting lots of high tech corpora t ions and research institutes to devote in it. This paper introduced and analysed the main features, key technologies and current R D situat ions of column oriented database? Keywords Column oriented database, Compression, Block it eration, Lat e materialization, Invisible join, Data w arehouse, Business intelligence, TPCH 1引言 列数据库是基于列存储的、主耍面向企业决策分析领域的 关系型数据库。在 SIGMOD85,论文 A Decomposition St oragc Model ?11提出了一种新的存储概念，简称DSM,这就是列数据库 的雏形，但是这种技术在当时并没有得到足够的重视。近些年来 条记录的所有属性都存储在i起，如果要杳询-条记录的-个属 性值，需要先读取整条记录的数据。而列数据库衆按数据岸记录 的列来组织和存储数据的，数据岸中每个表由如页链的集合组 成,每条页链对应表中的 个存储列，而该页链中每一页存储的 是该列的一个或多个值。 在以 Michael Stonebraker, D