天网搜索引擎文档.docxVIP

PAGE PAGE 10 天网中英文搜索引擎 技术报告 国际互连网（Internet）这一个全球性的计算机网络在九十年代得到了迅速的发 展，连入的主机数以几乎每年翻一翻的速度增长，并已将它的影响扩大到信息化社会的各个角落。Internet 上丰富的信息资源和便捷的通信手段是其吸引用户的主要因素。WWW（World Wide Web) 是目前 Internet 上使用最广泛的信息服务之一。它利用超文本制标语言 HTML(Hypertext Markup Language)描述超文本和超媒体信息，将分布在网络中各个节点上的文字、声音、图形、图象、视频等多媒体信息有机地联系和组织起来，用户可用友好、方便、多样的界面存取信息，因而在 Internet 上得到了迅速的发展，已成为人们发布和共享信息的重要工具。除此之外，Internet 上还提供 News, Email, Ftp, Telnet, Gopher 等多种服务。 WWW 信息量的增加，给人们带来一个新的问题，即如何在庞大的ＷＷＷ信息网内找到自己所需要的信息．解决这个问题的途径是建立 WWW 搜索引擎，即用一定方法发现 WWW 信息，生成ＷＷＷ资源索引，并为用户提供检索和查询服务．ＷＷＷ搜索擎已成为人们争相研究开发的热点．近年来，国外已先后有一些此类系统（例如Yahoo！，AltaVista，HotBot,MetaCrawler 等）在 Internet 上运行．在我国，由于信息网络的带宽较窄、中文信息占较大比例、大部分用户习惯使用中文、对中文检索需求很大等原因，使得这些搜索引擎不能完全满足用户的需要．在这种情况下， 我们设计开发了一个大型、高效的分布式中英文信息发现和资源索引检索服务系 统—“天网(WebGather)”中英文搜索引擎，取得了很好的效果． 一、系统结构 本系统主要由 WWW 信息存取和分析子系统、WWW 信息收集控制子系统 、News 收集分析子系统、资源索引数据库、信息检索子系统、管理和监控子系统等几个部分组成。各个部分的功能如下： 1、WWW 信息存取和分析子系统 根据 WWW 信息收集控制子系统提供的 URL 和相关信息，使用 HTTP 协议， 在 Internet 上获取相关资源，并能就对方主机返回的不同状态码作出相应处理。对取回的 Web 页面(主要是 HTML 格式)进行分析，自动对中文编码进行识别和转化， 对中文信息进行分词、提取页面的标题、关键词、摘要以及其中的超链（HyperLink）。 将分析的结果通过扩展 SOIF 接口提交给信息收集控制子系统。 2、WWW 信息收集控制子系统 根据配置文件运用自然语言理解和知识获取技术、引导信息收集系统优先访问特定知识领域和特定地域范围内的信息，向 HTML 存取分析进程发送需访问的 URL 及相关信息，接收其发回的访问和分析结果。将相应的数据存入信息数据库中。并对信息收集的频度和流量加以控制。 3、News 收集分析子系统 使用 NNTP 协议访问 News Server，收集所关心的 Newsgroup（在配置文件里配置）中的文章。并进行分析，提取文章的摘要、标题、关键词。将这些信息存入信息数据库中。 4、资源索引数据库 存储收集到的 WWW 和 News 信息，以及分析的结果。并对其重新进行基于词的分级优化索引，以加快查询速度． 5、信息检索子系统 提供基于 WWW 方式的信息检索服务。用户通过任何标准的 WWW 浏览器直接访问。检索系统可以支持在一次检索中使用多个检索词(中、英文），并支持检索词之间的逻辑关系（与、或）。还可以指定查询的范围：WWW、News，和方式（精 确、模糊）。检索结果以 HTML 形式返回给用户。各项结果的标题与它所对应的URL 用超链连接起来。用户只需在浏览器中点中检索结果项的标题，就能马上取得相应页面的实际内容。命中的 URL 页面按它与用户检索关键词的关联程度排序，使用户的检索更有效率。本系统还支持在上一次返回的结果中进行查询。 6、管理和监控子系统 提供系统配置，启动、停止、监控、统计等管理功能。 News Server News Server WWW Server WWW 存取、分析 WWW 存取、分析 HTML 文档 News 存取、分析 HTTP 收集控制子系统 资源索引数据库 信息检索子系统 管理和监控子系统 CGI WWW 服务器 WebGather WWW 浏览器 WWW 浏览器 图 1 WebGather 系统总体结构示意图 信息收集控制子系统与WWW 存取分析进程以及NEWS 存取分析子系统之间的信息交互是通过 TCP Socket 连接来实现的，因此各子系统可以分布运行于网络中不同的主机上。 二、技术特征 本系统有以下技术特征： 1、