数据集成历史现状未来艾静Web组引言本文主要部分是对.DOC

数据集成：历史、现状、未来艾静 （Web组）引言： 本文主要部分是对论文《Data Integration: The Teenage Years》[1]的介绍，这篇论文是第32届VLDB会议(VLDB2006)上十年最佳论文的获奖发言，作者在文中总结了Data Integration这十几年来的发展成果，在商业领域的一些相关产品，并提出了目前数据集成系统普遍存在的问题以及未来面临的挑战。 本文还对数据集成领域中的一些重要思想和几个热点问题做了更加详细的介绍，力争将数据集成这十几年来的发展状况尽可能清晰地展现给读者。一、背景介绍近几十年来，计算机网络的飞速发展和信息化的推进，使得人类社会所积累的数据量已经超过了过去5000年的总和。数据的采集、存储、处理和传播的数量也与日俱增。企业或社会组织实现数据共享，可以使更多的人更充分地利用已有的数据资源，减少资料收集、数据采集等重复劳动和相应费用。然而，这些为不同应用服务的信息都存储在许多不同的数据源之中，其管理系统也各不相同。为更有效地利用这些信息，需要从多个分布、异构和自治的数据源中集成数据，同时还需要保持数据在不同系统上的完整性和一致性。另外，必须向用户隐藏这些差异，提供给用户一个统一和透明的数据访问接口。研究的重点即在于确立一种具有普遍意义的、可操作性强的分布异构数据源的集成方法。因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择，尤其是对于那些拥有多部门多数据源的大型企业来说，数据集成更是至关重要。因为每一个部门都会拥有自己的数据库，这些数据库可能是独立、异构且自治的，为了各部门间更好的合作和数据共享，并且为用户提供更好的搜索查询质量，建立一个完善的数据集成系统是极有应用价值而且尤为重要的。二、Information Manifold：具有统一的查询借口！1．背景1996年Alon Halevy、Anand Rajaraman、Joann Ordille三人合著的论文《Querying Heterogeneous Information Sources using Source Descriptions》[2]发表在VLDB国际会议上，2006年被评为VLDB十年最佳论文。这篇论文提出了一个数据集成project——Information Manifold，Information Manifold和其他同类的project极大地促进了数据集成的发展，并导致了一系列数据集成系统商业产品的诞生。2．重要意义 Information Manifold的目的是为多数据源提供一个统一的查询接口。用户通过这个接口提交查询可以直接得到对多个数据源的查询结果，就像是对一个数据源进行查询一样。 请看这个查询的例子：找出由Woody Allen导演的在我所在的地区放映的电影的评论。这是一个复杂的查询，要回答这个查询需要对三个Web站点（相当于数据库中的表）的内容进行连接：一个有演员和导演信息的电影网站；一个电影放映时间和地点的网站，以及一个影评站点。如果用户不得不自己访问这三个Web站点，然后在三个站点上分别进行有关信息的查询（只能查询该站点的数据库支持的信息），再自己手动把这些信息连接起来，才能得到所需的信息，那么这种复杂度必定是不可忍受的。因此，数据集成研究工作的目标就是设计出一种合适的数据集成系统，它能够自动为用户完成这些操作，并且在可以接受的时间内返回查询的结果数据。至于这些结果信息是否来自多个自治而且异构的数据库，原来的形式是否各不相同，等等问题，都由系统来解决，用户的感觉就是对单一数据库的简单查询。Information Manifold就是在这方面比较成功的范例。3．主要成果Information Manifold 对data integration这十年来的发展的主要贡献就是论文里提出的对已知的数据源内容的描述方式（称为source description，即源的描述）。一个数据集成系统会给它的用户提供一种模式，用于用户提交他们的查询。其中典型的代表就是中介模式（或称全局模式，mediated schema）。用户提交的查询都是基于这个中介模式的，因此data integration系统必须预先建立好中介模式与数据源模式之间的语义映射(semantic mappings)。在这里，Information Manifold提出了一种著名的语义映射关系的构建方法，后来被称为LAV(Local-as-View)方法。有了模式间的映射关系，用户提交的基于中介模式的查询通过查询重写(query reformulation)转化成对于各数据源的可执行的一系列查询。现在多使用LAV视图进行查询重写，被称为利用视图应答查询(Answering queries using view