信息自动获取系统地研究.pdfVIP

第十七届全国数据库学术会议论文集(技术报告_葛) 靠望旦动壅取丕统的研究 白清源 林锦贤 谢丽聪1 (福州大学计算机科学与技术系福州350002) I 0n Ab打耐Inthe onAu加maticrLJbmla廿on basedInterr屺t S啪tem Paper，research Gettmg work俪¨inv0№in asweHasNet— 证mtroduced．Theresearch Arti6daIIntemg朗t，D啪Mi试119 wo旷l【tec}1n3lo科 0f Sern卜StncnJredataAt讲blltereduce -姆啪r凼妇h^gent R0ugh—Set l 引 言 随着因特网的迅猛发展和普及，因特网上的信息量迅速膨胀，这导致了因特网上信息查询的困惑，即 为查询与某一_十主题相关的信息，用户不得不进行。太海捞针”式的搜索，然后还要面对搜索到的大量信息 进行甄别，以便去除冗余的信息。由于搜索到的是舟页，若要对信息进行进一步的处理，如统计、发布等， 用户只能用手工方式将信息整理到数据库中。“信息自动获取系统”就是为克服上述问题而提出的。它首 先采用某种搜索引擎或利用已有的著名的搜索引擎在因特网上定期地搜索与用户输^的主题相关的罔页 (或网站)，其次，自动对搜索到的两页进行分割处理，将网页上的信息整理并存储到数据库的若干个表中， 再次，由于这些表通常是异构的，因此必须将这些表转换到一个表(总表)中，最后，还要对总表中的记录进 行冗余处理，形成能够满足用户查询要求的表(目标表)，提供给用户，以便用户可以对该表中的记录进行 进一步的处理(如进行统计或将表中记录在网上再发布等)。 从上述可以看出，与Ya‰、soh00等搜索引擎(搜索到的结果是网页)不同的是，车系统主要的部分在 于对搜索到的网页进行处理，除需要网络技术外，它将涉及到人工智能技术、数据挖掘技术、数据库中异构 表的转换技术等。本系统的研制将可以为广大用户提供一种全新的网络信息服务方式，具有极其广阔的 应用前景。 图I信惠自动薮取系统的总体结构图 74 第十七届全国数据库学术会议论文集(技术报告篇) 2系统总体结构 系统的总体结构如图1所示。 3 系统各部分的实现途径 3．1网页检索与收集阶段 本阶段的任务是定期地向因特网上的网站搜索与用户输入的主题相关的网页。目前适合超文本网页 的信息检索模型主要有：布尔逻辑模型、模糊集合模型、向量空间模型和概率推理摸型，现在Int叫1et上的 太多数搜索引擎采用布尔逻辑模型。实际上，不论哪种模型都有各自的优缺点，比如，布尔逻辑模型结构 简单港索速度快，但其表示能力弱，容易造成“信息过载”(若用户的查询要求比较含糊时)，或“信息遗漏” (若用户的查询要求比较严格时)；向量空间模型将网页与用户主题的相关程度进行量化(即对网页进行相 关排序)，可以克吸布尔逻辑模型的缺皓，但是，用户主题词的增加会使得相关排序算法的计算量急剐增 加，检索速度较慢=因此，本阶段的首要任务是提出一种适当的信息检索模型¨引。 其次，网页经常被更新，有时是内容(信息)更新，但有时仅仅是网页上的部件更新，而内容(信息)不 变，因此系统要有相应的判别机翩，内容重复的网页不要作为新网页进行处理。这一点很重要，既可以减 少网络通讯开销，又可以减