不断发展的数据仓库与挖掘应用领域趋势与对策.docVIP

第一章 数据仓库体系结构的应用和发展趋势 Xuegang Huang Danske Bank Group,Denmark 摘要： 商业智能运用程序的广泛采用使得越来越多的组织建立和维护数据仓库系统。像“数据统一视图”及“一个真实版本”这样的理念是建立数据仓库的主要驱动力。 商界的发展动态提出了在管理数据仓库中大量复杂数据的同时还要呈现实时数据集成和主数据的要求。这一章总结了过去和现在的一些典型的数据仓库结构体系的模型同时描述了面向服务的体系结构的理念是如何影响数据仓库体系结构将来的发展的。此讨论提出了很多现实世界对数据仓库解决方案的需求，同时列出了关于结构模型如何解决这些需求的认识。 引言： 在过去几十年中，数据仓库的概念已经遍及商业领域。企业一直努力地实践以获得成功的数据仓库结构体系，他们从成功和失败的结构中得到教训。数据仓库产业的一些重要发展代表了这个学科的过去和现在。 特别地是，以20世纪80年代，很少的一些工业供应商为首，例如：Teradata,许多IT公司，像微软，IBM ，Oracles,为了得到在数据仓库方面的足够支持，都在扩展他们的数据管理系统。在Inmon和Kimball的出版物中已经详细地记录了早期数据仓库理论和工程实践。 数据仓库技术的学术研究始于90年代早期。数据库研究协会为了提出一个相容的而且统一的数据视图就开始聚焦于把来自异构数据源合并成单一数据库。早期的研究，像对数据快照，物化视图的研究就带动了后来的大量研究,比如：联机分析技术数据，数据立方，多位模型，多维指数及优化查询，还有复杂数据类型的数据仓库。研究领域，最近一直关注于提高对复杂数据类型的数据仓库的扩展性以及如何将数据仓库无缝及有效地融入商务智能流程和应用中。 数据仓库结构是一种关于数据库系统的不同体系块如何相互连接和相互联系的组合观点。它反映了学术研究和产业发展如何影响不同企业的数据库实施的。比如：从计算结构的角度来看，数据仓库体系已经从过去的主机分析到客户/中间体/服务器环境以及云计算概念。随着大容量信息的快速增长以及商业方需求的增长，大型商业企业的许多IT组织机构正面临这建立一种全企业的数据仓库，这种数据仓库能够整合和管理不同种类的信息，而这些信息来自企业的不同角落以及能够以一种及时的方式为商业分析提供坚实（可靠）的信息。成功的数据仓库体系必须能确保处理数据的有效性，信息的正确性以及元数据的传播性，同时还要管理日增长超过十亿字节的兆字节数据。 在过去的10年里，数据仓库体系的实践集中强调一些典型的问题，如：数据集成需求，数据质量和数据元控制，来自数据管理和分析方面的数据模型需求和业绩接受。特别是，数据提取，转换和下载处理必须通过允许简单快速地按比例增加硬件配置，同时以一种有效的方式来处理大量的数据。数据元的提取和数据质量需求的调和也需要通过数据集成以使数据链贯穿数据库中整个数据生命周期。一个企业范围内的数据模型提供统一的数据视图，这种数据视图能够使一种具有一致性和逻辑性的商业数据覆盖整个企业的不同职能领域。作为数据库的数据管理层，数据库主要集中于用有效的方法下载数据，而善于分析的用户则对用一种快速便捷的方式检索数据更感兴趣，数据库体系结构就要用一种简单的方法找到这两者间的平衡。 建立于过去十年的研究探索，数据库软件供应商正对这些典型的体系话题进行举例工具说明及设计实践。 同时供应商正大刀阔斧于越来越并行处理的数据库和提取转换下载工程，企业范围内的元数据和数据质量工具，还有用大量数据仓库实验极力扩展他们的实验室。当像SOA, web2.0以及云计算等新奇的理念将覆盖真个IT界的时候，数据仓库界产业和学术界都面临新的挑战。 这章就是致力于讲解这些新趋势给数据仓库体系带来什么样的挑战以及怎样运用这些不同的学术研究于将来的数据仓库体系结构实施以迎接这些新的挑战。这一章同时也讲了一些刚出现的数据仓库方面的话题（如：实时数据仓库，数据隐私，仓库半结构化和非结构化数据）的挑战和研究方向。 剩下的章节如下组织：第二部分描述了数据仓库体系结构的实施和相关的调查研究工作。第三部分探索了刚出现的体系结构趋势和描述了这些趋势带给不同研究探索的挑战。第四部分总结了这章同时指出了数据仓库体系结构将来的发展方向。 数据仓库体系结构实施 信息技术系统体系结构是描述系统结构和行为的概念设计。同样，数据仓库体系结构呈现了一种系统的正式描述，它是用一种支持推理它的机构特点的方式组织起来的。数据仓库体系结构一般包括基础建筑模块的定义，描述基础建筑模块是如何建立，连接和相互关联而使整个数据仓库运行起来的。 和其他由建筑结构做成的不同类型的蓝图一样，数据仓库体系结构一般能组成不同的观点来描述这个结构，可以从具体的利益相关者和他们所关心的角度来描述。比如：一个组成部分的观点描述了这