列存储数据库技术及图书馆共享域建设.docVIP

列存储数据库技术及图书馆共享域建设〔摘 要〕传统图书馆各类应用软件平台的数据库大多为行存储模式的关系型数据库，真正运用以海量存储、高可靠性为特征的具备列（云）存储技术的比较少。本文以分析列存储技术特点为出发点，结合图书馆共享域建设的技术需求，提出与搭建开源数据库平台：Hbase，讨论该平台在未来图书馆共享域建设中可以发挥重要的作用 〔关键词〕列存储数据库；云存储；共享域 ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１１．１２．０２１ 〔中图分类号〕Ｇ２５０.７４ 〔文献标识码〕Ｂ 〔文章编号〕１００８－０８２１（２０１１）１２－００７８－０４ Column Oriented Database Systems and Library ConsortiaGao Jianzhong （Library，Xi?an Jiaotong University，Xi?an 710049，China） 〔Ａｂｓｔｒａｃｔ〕The traditional library database of most kinds of application software platform is RDBMS with row storage model,the column(cloud)storage technology with mass storage,high reliability rarely used here.Based on analysis of the column storage technology,combined with the technology needs of the library consortia,proposed and built the open source database platform:HBASE,to discuss the platform can play an important role in the construaciton of library consortia. 〔Ｋｅｙ ｗｏｒｄｓ〕column-oriented database;cloud storage;consortia １ 列存储的概念与背景知识 列存储的思想早在1985年ACM的SIGMOD会议上George P.Copeland和Setrag Khoshafian就在文章“A Decomposition Storage Model”［１］中对列存储进行了比较详细的介绍，它提出了“分解存储模型”（DSM，Decomposition Storage Model），DSM将关系垂直分为N个子关系，相同属性的值存储在一起，属性仅当需要时才加以存取访问。而Sybase在2004年左右推出了列存储的Sybase IQ数据库系统，主要用于在线分析、数据挖掘等查询密集型应用 2005年Michael Stonebraker在VLDB上发表文章“One Size Fits All:An Idea Whose Time Has Come and Gone”［２］指出随着时代发展，一种数据库可以统一所有应用的日子已经一去不复返，未来商业数据库市场将分裂为各种独立的数据库引擎的集合。同年，他开发出一种列存储的数据库原型系统――C-Store［３］。C-Store在优化查询、包含重复映射、利用密集压缩减少存储容量和分布式处理等方面有很大创新。特别是在查询性能上远远优于传统行存储数据库 综上所述，可对列存储作以下定义：列存储是一种将数据库表的所有记录中相同字段的数据聚合存储的方式，并通过表中的列来存储与访问数据 ２ 列存储存储模型、技术特点与应用范畴 ２.１ 行存储与列存储模型比较 由上图可见行存储是将数据组织成多行，这样可在操作中找到所有的列。缺点是操作时必须每次处理一整行，而不是只处理需要的列。优点是在处理相同对象的两列或多列查询时能够取得较快的速度，同时可提高更新、插入和删除速度 列存储是将数据组成多列存储在物理空间上，这样在查询对象少数列的时候可以显著提高查询速度，因为不需要一行行去读取对照从而找到需要的列。缺点是在对象需要频繁执行多列更新、插入和删除时速度不及行存储 ２.２ 行列存储技术特点比较 存储类型特 点数据存储数据读取数据压缩行存储数据按行存储――表中每行记录的所有属性在物理空间上存储在一起查询时将一行的所有属性读出―产生大量?I/O负载对于行中所有记录，采用统一的压缩方式列存储数据按列存储，表中同一属性在同一列中只访问查询涉及到的列――大量降低系统?I/O数据类型一致、特征相似――高效压缩 列存储数据库技术