Cognos MOLAP技术参考.docVIP

Cognos MOLAP技术参考 概述 Cognos的Transformer提供MOLAP的数据存储方式，支持所有主流关系型数据库及平面文件、接口数据等。其技术精髓依据“牺牲空间，换取时间”的经典理论，使数据访问的性能得到了最大化的提升。因此，MOLAP是目前主流的OLAP技术。有独立的OLAP引擎，能提供比ROLAP更为优秀的性能，和更好的用户体验。（查询分析的响应时间一般为秒级） 相对于MOLAP，ROLAP需要基于传统的关系型数据，所以运行速度受限于数据库的性能，当用户数多或查询复杂的时候性能难以保证（查询分析的响应时间一般为分钟级）。ROLAP为了提高查询分析的响应速度往往需要在数据库中构造很多中间表，这些表在系统运行一段时间后管理和维护会成为比较大的问题（因为这些表对DBA是透明的，DBA不能明确知道这些表是否还会使用，也不知道这些表对当前ROLAP是否还有效）。并且，伴随这业务数据的不断积累和业务需求的逐渐变化，ROLAP的数据存储会呈指数状急剧膨胀，经常造成后期维护成本（存储介质）的大量开销。 特性 友好性 直接使用鼠标拖拽，进行模型设计，不需要编写程序，通过工具的自动优化和自动程序生成功能，大大简化了开发过程，可以快速建立模型，快速响应用户需求。 虚拟Cube技术 智能的虚拟Cube技术，可将存储数据的立方体文件进行物理拆分，并且支持对分区进行增量更新，从而实现对超大数据量的支持和维护，不同的虚拟Cube可以采用不同的模型，适应业务的发展 空间占用 区别于其他MOLAP产品的膨胀型存数方式，Cognos MOLAP采用压缩型数据存储，具备高压缩比，通常情况下压缩比大约为数据库占用空间的十分之一。 访问效率 Cognos提供的智能缓存可以支持从小数据量到大数据量应用环境中的秒级访问。 实现成本 由于全图形化设计，不需编码，因此能够适应快速部署，快速实现的要求，实施周期和维护成本低。 考察角度 ROLAP 友好性 界面简洁，从简单到复杂模型都是直接使用鼠标拖拽，进行模型设计，不需要编写程序。 界面复杂，复杂模型，需要使用代码进行编写。 和其他功能的整合 对底层业务数据库有巨大的压力，影响业务系统性能 优化方式 工具自动优化，确保大规模OLAP应用也能秒级响应。 由开发人员自己凭借经验进行优化，优化难度大。 空间占用 高压缩比，通常为数据库占用空间的十分之一。 。 虚拟Cube技术 虚拟Cube技术，能真对分区进行增量更新，支持超大数据量，不同的虚拟Cube可以采用不同的模型，适应业务的发展。 不支持虚拟Cube技术。 维度支持 可支持超过100个维度，实际使用的应用中有30个维度左右。 实际应用中也就5-7个维度，维度增加性能急剧下降，导致Cube不可用。 自定义维度层次 用户可以在没有数据库支持的情况下，自定义维度层次，维度中各个层次的成员可任意计算。 必须依赖数据库表进行维度层次设计，维护，修改工作量大。 访问效率 往往数据量大之后，访问数据不能忍受，甚至导致不能打开。 市场表现 在保险，银行，电讯等行业的大量用户得到了广泛使用，被大量以前曾经使用的的客户用于替换。 ，用户纷纷放弃使用。 Cognos服务器配置： 2cpu（双核） 3.0GHZ 内存 3.25G 硬盘：50G 测试案例一：计收入日分析 数据量 486,957,063 测试结果： 生成Cube时间： 总共6:20（其中读数 5:30） 生成Cube 大小： 总共 48M 测试结果分析： Cube生成过程第一步为从数据库取的源数据，第二步是生成Cube文件。本案例中第一步时间比较长，有以下几方面的原因： 1：数据库性能，本次测试使用的是开发环境的Oracle，读数性能比较差。 2：Cognos服务器配置低，内存偏小，硬盘偏小（数据量比较大，所以临时空间需要比较大） 3：Windows的性能比Unix性能差，特别是磁盘的IO速度，影响读取数据后写到磁盘临时目录的性能 测试案例二：用户质量分析 数据量 25,453,546 测试结果： 生成Cube时间：1:07 （其中读数 29:37） 生成Cube 大小：8M 测试结果分析： 同上一个案例的分析 案例二：某金融行业 目前系统中有15-20个左右的立方体，每个立方体处理的数据量在20-30GB左右，立方体大小在2-3GB，每天增量的时间在30分钟左右。其中最大立方体的记录数在2.5亿—3亿左右，大小为3.5GB左右。BI系统总用户数在1000个左右，并发用户在200-300。BI服务器采用两台4CPU、8GB内存的PC服务器做负载，系统运行稳定，平均响应速度秒级。 案例三：某电力