数字图书馆建设中信息集成的方法与技术.pdfVIP

第 1 章 引言 1.1 研究背景 数字图书馆是在互联网迅猛发展和传统图书馆自动化水平不断提高，在 人民生产、科研和日常生活中对获取和利用信息的要求不断提高的环境中 产生的一个新事物，它以互联网为基础平台，为其用户提供全方位的分布 式信息和知识服务。国内外图书馆界和IT业界都在数字图书馆的研究和建 设中倾注了大量的心血，经过10多年的发展，数字图书馆的建设从资源主 导型向服务主导型迈进。在资源主导型阶段，资源数字化工作取得了大量 成果，各类数字资源数据库和应用系统不断开发出来。各数字图书馆在建 设本单位数据库资源的同时，必然会大量购买其它数据库资源。由于在资 源建设中没有统一协调，各数据库提供商采用的开发方式和数据模式都不 尽相同，这使数字图书馆用户在使用这些异构资源时要分别登录各数据库 站点，重复输入查询关键词进行查询。而对于查询结果，各数据库站点的 表达方式和排序方法也不一样，不可避免地出现数据重复和混乱的状况， 这样就浪费了用户大量的时间和精力，效率低下，给访问数据库造成了很 大的瓶颈。作为从资源建设向服务建设的一个跨越，进行众多资源站点的 信息集成迫在眉睫。 从信息集成方面的研究来看，信息集成的概念由来已久。信息抽取是信 息集成研究中最为关键和广泛的一个方面。信息抽取是从自然语言文本中 抽取出特定信息的过程，传统的信息抽取系统利用自然语言处理技术，使 用基于语法或语义限制的抽取模式，可以对自由文本进行处理，但是自然 语言处理还没有达到理想的效果，因此对自由文本的抽取处理效果不佳。 随着互联网的飞速发展，网络成为巨大的信息源，这种信息源往往是半结 1 构化的，它对信息抽取是巨大的挑战，一直推动着从结构化和半结构化的 文本中抽取信息的研究向前迈进。网页文档作为互联网信息的主要载体， 有两个显著的特点[1]：（1）文本中含有大量的标记和超链接；（2）文本中 很少出现完整的句子。这两个特点使自然语言处理技术不完全适用于 Web 信息抽取。另外，网页的组织结构和超链接特性也有自身的特点。网上数 据库查询的结果通常是一系列的包含超链接的网页。这类网页大体可以分 成三类[2]：一层一页，即一个页面包含了所有的查询结果；一层多页，即 需要调出多个链接才能获得所有的结果；两层页面，即第一层是列表式条 目链接，点击链接后才能看到详细资料。从多个网站来看，各网站的信息 内容互相独立，要收集起来有困难。互联网上还存在规模宏大的“暗藏网” （the hidden web），即网上数据库系统。据估计互联网上80%以上的内容 存在于这种看不见的“暗藏网”中，搜索引擎的“网络爬虫”抓不到这些 网页[3]。通过以上分析我们看到，对于网络信息源，我们要做的主要工作 是进行特定网页的信息抽取和“暗藏网”的信息挖掘。 网络信息抽取的研究成果正不断应用到数字图书馆的建设当中，但是 我们看到大多数应用也仅仅限于信息抽取本身，对于抽取到的信息没有进 行更好的集成和综合利用。我们希望建设一个综合的信息抽取和集成的框 架，并在此基础上对资源进行综合高效的利用，提升数字图书馆的服务水 平。 1.2 本文的主要工作 本文的工作是“数字图书馆个性化信息服务系统”（DLPers）项目的一 部分。DLPers是中国人民大学“211工程”项目——数字图书馆建设的子 项目，其总体目标是： 1. 提供交互式智能检索和查询。充分考虑用户使用推荐系统的行为 方式，提供方便的浏览和交互式查询；具备智能化信息分析与处 2 理，能够根据用户提出的明确要求提供准确的信息服务，或通过 对用户专业特征、使用偏好的分析而主动地向用户推荐其可能需 要的信息。 2. 推荐精确系统的知识。能够过滤、屏蔽无关无用的冗余信息，推 荐精确、有效、真正具有针对性的信息；能自动地、智能地将大 量的数据转变为具有规律性、系统化的知识，形成具有内在关联 的信息链和知识链，并以易于理解的模式推荐给用户。 本部分研究是根据DLPers