Sybase IQ 核心技术.docxVIP

Sybase IQ 核心技术Sybase IQ 是一个高度可扩展的分析型数据仓库引擎，专门为分析型应用、数据中心、数据仓库而设计，使数据仓库应用拥有卓越的查询性能与最低的总拥有成本。不同于传统数据库主要考虑在线的事务进程的设计，IQ 是专门为分析型应用而构建的，首先关注的是查询的性能。其垂直存储、专利索引技术以及独特的体系架构使其成为数据仓库、数据中心的最佳选择。Sybase IQ 方法Sybase IQ 数据库与常规关系数据库之间存在本质区别，前者侧重于读者，而不是编写人员。在常规数据库中，最重要的一点是允许多个用户瞬时准确地更新数据库，而不会相互干扰。相反，在 Sybase IQ 数据库中，对诸多用户的查询快速做出响应非常重要。此面向读者的方法推进了对 Sybase IQ 体系结构和功能的设计。Sybase IQ 方法意味着：? 数据按列存储，而不是按行存储。? 对所有列创建索引可以提高性能。? 使用较大的页大小可以提高性能。? 使用大型临时高速缓存可以提高大多数操作的性能。? 使用表级锁（而不是行锁）和表级版本控制方法在表级控制对数据的访问。? 大多数查询结果都侧重于表级数据。? 大多数插入和删除操作向整个表（而不是向某一行）写入数据。Sybase IQ 优势列存储不同于传统的关系型数据库，其数据在表中是按行存储的，Sybase IQ是通过表中的列来存储与访问数据的。尽管这种方式很明显的不太适合于交易环境，在交易环境中，一个事务与一行数据有效对应，而在查询进程环境中，很显然，查询是基于特定的列来选择的。列方式所带来的重要好处之一就是，由于查询中的选择规则是通过列来定义的，因此整个数据库是自动索引化的。事实上，情况并不象上述的这样简单，Sybase IQ有各种方法支持基于列的索引，我们将在下面就此讨论。使用列方法的另一个结果就是，Sybase IQ在压缩方面比传统的关系型数据库更加有效（根据Sybase所称，效果可达5倍之好）。这个原因，无消说，是由于同一列中的所有数据域有相同的数据类型。因此，每一列都可以为优化的效率与检索进行压缩。相比来讲，基于行的存储，各个不同的域拥有各不相同的数据类型，这非常适合于交易进程。在这样的环境中，不断变换理想的压缩算法是不可行的，这意味着任何压缩都将可能是一种最低通用的规则。基于列的方法的另一个重要优势完全基于所有读出的数据量。无论何时你从传统的数据库中访问数据，你需要读出完整的每一行，而不管你实际所感兴趣的是哪些域。实际上，这可能意味着读300个字节的数据仅仅检索20个字符的数据。但是，基于列来读取数据，你仅仅需要读出你想要了解的数据。当然，读取一条单独的记录时，性能上的不同可以忽略，但是许多查询需要进行全表扫描。当读取数百万行数据时，性能的不同就会非常显著。Sybase认为，Sybase IQ的列存储天然的比普通的ROLAP方法提供更佳的性能，IQ不需要象多数竞争对手或者Sybase Adaptive Server Enterprise(ASE)一样支持硬件的并行处理。尤其是，Sybase指出，与数据分区相关的问题就是需要支持硬件的并行机制。显而易见，不论如何进行分区，分区都会带来很多问题（更不必说额外的维护了），不过，它打开了性能改进的实质性途径。然而，Sybase进一步阐述道，这仅仅是对基于行的方法所与生俱来的糟糕性能的一种补偿机制。Sybase有很多事实支持它的论断，但这并不意味着Sybase避免任何形式的数据分区。然而，不同于水平分区，Sybase IQ实施的是垂直分区，也就是说分区是按照列而不是按照行进行的。该方法的优势之一是分区从来不会变得不均衡，这是由于每个表中的每列都有相同数量的域。这大大降低了管理分区的维护需求，同时消除了数据库的重新组织，而在分区变得不均衡从而开始影响性能的时候，数据库重新组织是必需进行的。最后，需要注意的是，Sybase IQ并没有避免使用OLAP。对于那些希望在聚合层次下以一个相对预先定义的方式进行查询的用户来讲，OLAP具有明显的优势。基于此，Sybase 支持OLAP功能属性如排列、百分比、平均。数据压缩传统的数据库引擎不能以一种通用的方式进行数据压缩，主要是由于存在以下三个问题：1. 按行存储的数据存储方式不利于压缩。这是因为数据（大多为二进制数据）在以这种方式存储时重复并不多。我们发现，按行存储的数据，最多能有5-10%的压缩比例；2. 对于许多2K 和4K 的二进制数据页来说，为压缩和解压缩而增加的开销太大；3. 在OLTP 环境中，大量读取和更新混杂在一起。每一次更新需要进行压缩操作，而读取只需解压缩操作，大多数的数据压缩算法在压缩时比解压缩时慢4 倍。这一开销将明显降低OLTP 数据库引擎的事务处理效率而使得数据压缩的代价昂贵到几乎