数据仓库处理实时数据.docxVIP

随着信息技术的发展，数据仓库技术得到了前所未有的广泛应用，产生了巨大的经济效益。在美国，30％～40％的公司已经或正在建造数据仓库，其代表有ATT公司、VERIZON移动通信、沃尔玛百货公司等。据国际权威统计机构IDC对欧洲和北美62家采用数据仓库技术的企业的调查分析发现，这些企业的3年平均投资回报率为401％，其中25％的企业的投资回报率超过600％。 ??? 近年来，我国大中型企业也逐步认识到利用数据仓库技术的重要性，并已开始建立自己的数据仓库系统，如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。这些数据仓库系统已经开始在这些企业运营过程中发挥出显著的作用。例如，从2001年起，中国移动开始在全国范围内建设数据仓库系统，目前已建成数千TB级的分级式数据仓库，有数万用户在使用，年访问量达数千万人次。仅一项“重入网分析”可以节约成本数亿元。 ??? 但是，随着市场经济步伐的加快和竞争的日趋激烈，传统的数据仓库技术已不能很好地满足企业发展和竞争的需要。传统数据仓库仅为企业高层决策者提供战略决策(strategic decision)，服务于宏观决策和长远规划，如市场细分、产品管理等。然而，企业越来越希望数据仓库在支持战略决策的同时，也能够为市场一线人员提供实时的战术决策(tactical decision)服务，如实时营销、个性化服务等。这种既服务于战略决策又服务于战术决策的数据仓库称之为实时主动数据仓库(real-time active data warehouse，RTADW)。根据Gartner的研究报告，RTADW已成为数据仓库发展的必然选择。然而，当前对RTADW的研究尚不成熟，许多关键技术急需进行深入研究，应用也仅是在部分企业尝试使用。 ??? 自2002年起，北京大学数据库研究室与中国移动集团公司在数据仓库的研究和建设方面开始了深入而密切的合作，在数据仓库和数据挖掘技术的研究开发和应用推广方面展开了大量卓有成效的工作，并于2006年5月在北京大学联合成立了“移动通信数据仓库联合实验室”。以移动通信领域为背景，在北京大学一惠普中国实验室联合项目的支持下，目前我们正在开展面向大规模海量实时主动数据仓库的研究工作，在理论研究和系统开发方面已经取得了丰富的成果。 ??? 本文将重点介绍实时主动数据仓库的概念、特点、需要研究的问题以及一些典型的应用。 1 实时主动数据仓库 ??? 1.1 实时主动数据仓库的概念 ??? Haisten提出了实时主动数据仓库的概念：RTADW是一个关系型环境的数据仓库，支持数据的实时更新、快速的响应时间、基于钻取的聚集数据查询能力和动态的交互能力，用于支持不断变化的商业需求。与传统数据仓库系统相比，实时主动数据仓库系统有许多独有的特点(参见表1)。 表1 实时主动数据仓库与传统数据仓库的比较 ??? 在RTADW发展的过程中，(operational data store，ODS)是一个重要的过渡阶段。一些企业为支持战术决策，往往采用ODS技术。总体而言，ODS分3类：1)实时ODS，它通过消息中间件实施数据的同步转换和刷新，但业务系统不能太多，转换数据量不能太大；2)准实时ODS，它实现数据同步，以1-2h为周期，系统负担较小，具有较好的灵活性；3)传统ODS，其代价最小，目前在传统数据仓库中常见。 ??? 1.2 实时主动数据仓库的特点和挑战 ??? 1.2.1 实时数据的连续集成 ??? 为支持实时的战术决策，源系统(或称生产系统)产生的实时数据必须在最小化对源系统入侵程度、并保证实时数据一致性和完整性的情况下，被实时高效地集成到数据仓库中。挑战问题是：1)在保证源系统性能不降低的情况下，对实时数据在源系统的任何变化进行实时的捕获；2)保证被连续分发数据间次序的一致性和自身的完整性；3)在保证数据质量要求的前提下，完成实时、高效的数据加载。 ??? 1.2.2 实时数据和历史数据的组织与管理 ??? 提供RTADW中的实时数据和历史数据的有效的组织与管理策略，使之高效地工作在一种混合的工作负载环境(战略决策和战术决策)中。所要研究的挑战问题：1)对实时数据和历史数据(指传统数据仓库中存储的数据)进行统一建模，从而对外提供统一的访问视图；2)研究对实时数据查询所产生的“查询冲突”和“查询不一致性”问题，保证查询处理过程的无阻塞性和查询结果的一致性；3)研究实时数据和历史数据的及时信息合并技术，对提交的RTADW的任何查询提供“透明”的一体化服务；4)对负载的管理，使得RTADW系统高效的运行。 ??? 1.2.3 主动的服务决策机制 ??? 研究RTADW的主动决策服务机制，提供对实时事件进行主动分析和处理的能力。挑战问题包括：1)研究实时事件的主动捕获机制，具备对外界请