第4章：数据集成：历史、现状、未来.pdfVIP

WAMDM Technical Report (WAMDM-TR-2006-2) 数据集成：历史、现状、未来 艾静 （Web 组） 引言： 本文主要部分是对论文《Data Integration: The Teenage Years》[1]的介绍，这篇论文 是第32届VLDB会议(VLDB2006)上十年最佳论文的获奖发言，作者在文中总结了Data Integration这十几年来的发展成果，在商业领域的一些相关产品，并提出了目前数据集成系 统普遍存在的问题以及未来面临的挑战。 本文还对数据集成领域中的一些重要思想和几个热点问题做了更加详细的介绍，力争 将数据集成这十几年来的发展状况尽可能清晰地展现给读者。 一、背景介绍 近几十年来，计算机网络的飞速发展和信息化的推进，使得人类社会所积累的数据量已 经超过了过去 5000 年的总和。数据的采集、存储、处理和传播的数量也与日俱增。企业或 社会组织实现数据共享，可以使更多的人更充分地利用已有的数据资源，减少资料收集、数 据采集等重复劳动和相应费用。 然而，这些为不同应用服务的信息都存储在许多不同的数据源之中，其管理系统也各不 相同。为更有效地利用这些信息，需要从多个分布、异构和自治的数据源中集成数据，同时 还需要保持数据在不同系统上的完整性和一致性。另外，必须向用户隐藏这些差异，提供给 用户一个统一和透明的数据访问接口。研究的重点即在于确立一种具有普遍意义的、可操作 性强的分布异构数据源的集成方法。 因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择，尤其是 对于那些拥有多部门多数据源的大型企业来说，数据集成更是至关重要。因为每一个部门都 会拥有自己的数据库，这些数据库可能是独立、异构且自治的，为了各部门间更好的合作和 数据共享，并且为用户提供更好的搜索查询质量，建立一个完善的数据集成系统是极有应用 价值而且尤为重要的。 二、Information Manifold ：具有统一的查询借口！ 1．背景 1996年Alon Halevy 、Anand Rajaraman 、Joann Ordille三人合著的论文《Querying Heterogeneous Information Sources using Source Descriptions》[2]发表在VLDB 国际会议上， 2006年被评为VLDB十年最佳论文。 这篇论文提出了一个数据集成project——Information Manifold ，Information Manifold和 其他同类的project极大地促进了数据集成的发展，并导致了一系列数据集成系统商业产品的 诞生。 2 ．重要意义 Information Manifold 的目的是为多数据源提供一个统一的查询接口。用户通过这个接口 提交查询可以直接得到对多个数据源的查询结果，就像是对一个数据源进行查询一样。 请看这个查询的例子：找出由Woody Allen导演的在我所在的地区放映的电影的评论。 这是一个复杂的查询，要回答这个查询需要对三个Web站点（相当于数据库中的表）的 内容进行连接：一个有演员和导演信息的电影网站；一个电影放映时间和地点的网站，以及 一个影评站点。 如果用户不得不自己访问这三个Web站点，然后在三个站点上分别进行有关信息的查询 （只能查询该站点的数据库支持的信息），再自己手动把这些信息连接起来，才能得到所需 的信息，那么这种复杂度必定是不可忍受的。因此，数据集成研究工作的目标就是设计出一 种合适的数据集成系统，它能够自动为用户完成这些操作，并且在可以接受的时间内返回查 询的结果数据。至于这些结果信息是否来自多个自治而且异构的数据库，原来的形式是否各 不相同，等等问题，都由系统来解决，用户的感觉就是对单一数据库的简单查询。Information Manifold就是在这方面比较成功的范例。 3 ．主要成果 Information Manifold 对data integration这十年来的发展的主要贡献就是论文里提出的对 已知的数据源内容的描述方式（称为source description，即源的描述）。一个数据集成系统 会给它的用户提供一种模式，用于用户提交他们的查询。其中典型的代表就是中介模式（或 称全局模式，mediated schema ）。用户提交的查询都是基于这个中介模式的，因此data integrat