IQ 与oracle的对比.docxVIP

1 数据仓库——满足企业报表统计，商务智能的数据管理需求企业的数据处理需求通常分为两种类型，操作型处理(OLTP)和分析型处理(OLAP)。OLTP的应用都属于满足人们日常事物处理的需求，传统的数据库主要是面向OLTP而设计的，可以满足单个事务处理的快速响应需求。随着企业信息化的快速发展，人们对数据仓库，商务智能，OLAP的需求也日趋增强，很多企业希望能对历史数据进行有效的分析和挖掘，以期能在海量无序的数据中发现有效的规律信息，并反向指导和优化业务流程，因此数据仓库并不会像数据库一样进行频繁的事物增加，修改，删除操作，而是从多角度频繁进行分析查询和统计，并且OLAP重点关注的不是个体行为，而是整体行为规律和特征。作为数据仓库引擎的数据库管理系统,其性能的优劣对整个数据仓库解决方案的成功实施起着举足轻重的作用。那么,如何来衡量一个数据库管理系统是否适合作为数据仓库引擎呢? 在跟众多中国政府、电信、银行客户沟通和交流后发现，他们最关心的是：如何为领导提高快速更新的报表和统计结果？如何保证数据的快速加载，当天的业务数据要在当天加载完毕？如何有效扩展，降低数据仓库实施的高风险所带来的投资损失？如何有效存储海量的历史数据，降低TCO?美国著名的IT系统项目论证与决策权威机构----Gartner公司，在其对“作为数据仓库引擎的数据库管理系统”的调查中也指出，客户所关心的最重要的三个问题分别是：查询响应时间、数据加载速度、数据规模。因此我们将重点针对以下因素进行详细阐述：查询响应时间数据加载速度数据存储效率系统的可扩展性TCO（总拥有成本） 1.1 产品综述在目前常见的数据仓库阵营中，根据数据存储方式分为2大阵营，以Oracle、IBM、MySql为首的第一阵营采用传统的按行存储方式，并试图通过在按行存储中增加对OLAP需求的支持，满足其快速的查询要求；以Sybase、Sand、Vertica等新兴数据仓库为代表的第二阵营则采用按列存储方式，希望利用按列存储的优势提升数据仓库的性能，因此Sybase 与Oracle数据仓库之争从本质上来说是2大阵营技术的比拼和较量。按行存储:在传统的关系型数据库内核中，由于大部分操作都是针对单个事物进行的，因此，数据库采用按行存储方式，事物的所有信息保存在一个连续的页面上，以支持快速的单个事物处理能力。这种存储方式虽然很适用于传统的OLTP数据库，但在面临数据仓库查询需求时却明显的表现出其天生的不足。对于数据仓库而言，其并不过多关心具体的单个事物信息，而是一个群体的行为特征，因此常见的查询类型是只针对某几列数据的统计分析，如：“北京公务员2007年的平均纳税额”；“海淀区2006年小升初语文平均成绩”；“华润集团北京分店的日平均销售额”等，在华润集团的例子中，上级领导目前关心只是销售额，而对于其他的如销售时间，店名，地址，营业员编号等信息都不会关心。也就是说用户只关心部分列信息，而不是事务的全部信息。由于按行存储将一个事物的所有信息存储在一个页面上，因此在进行I/O调度时并不能有效地区分这些信息，只能将符合条件事务的所有信息全部调度到内存后，再进行过滤和计算。由于将很多无用的信息调度到了内存，因此大大降低了I/O调度的效率；由于数据仓库技术所特有的灵活性需求，数据库管理员很难预知所有查询方式而提前建立优化索引，当查询找不到合适的索引时，最糟糕的事情发生了，用户只能进行全表扫描，性能急剧下降。按列存储：在按列存储的数据仓库中，每张表是一组相互独立的页链的集合，每一页链代表表中的一列。所以有100 列的表将有100 条相互独立的页链。列存储所固有的优越性在于：由于大多数数据仓库应用的查询只关心表中所有列的一个很小的子集，而列存储可以对这些列所在的页面进行单独调度，而不是全部调度，因此可以大大减少磁盘I/O（通常可减少90%的I/O），并快速得到查询结果。如下图所示，当我们查询“NY州A类商店的平均销售额”时，我们可以只对州，级别和销售额字段进行I/O调度，对时间和店号等信息所在页面根本不进行调度，可大大减少I/O。同时，由于按列存储数据时每列的数据类型相同，所以使Sybase IQ更容易对数据作压缩处理。但在传统的按行存储数据的情况下，就不可能有这样的效果，因为列与列之间数据类型通常是不同的。数据压缩的另一好处，是经去规范化处理而形成的表不会对磁盘空间有过量的要求，因为重复的数据经压缩实际上就消除了。数据的列式存储所带来的另一好处，是当需要一列新数据时不会引起数据库结构的改变，而对于很多传统的RDBMS 而言，在这种情况下数据库结构的改变恰恰是免不了的事。列式存储具有无以伦比的I/O优势。Sybase数据仓库策略——专门的数据仓库，与友商强强联合根据产品细化原则，Sybase专为数据仓库的数据管理需求量身定制