网站内容检索系统的设计.docVIP

网站内容检索系统的设计 　　摘要：结合网络蜘蛛、模糊匹配和改进的Hilltop算法等技术，该文设计了一套网站内容检索系统，实现了抓取网站网页、处理检索命令、匹配网页内容、确定检索结果相关度和资源管理等功能，能有效地协助监管部门加强对信息的监控和管理。 　　关键词：网站内容检索；网络蜘蛛；模糊匹配；Hilltop算法 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044(2009)05-1098-02 　　Design of Web Content Retrieval System 　　JIANG Ming-liang1, LI Zhi-Qing2 　　(1.Department of Computer Science and Engineering, Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China; 2.Guangzhou Party Institute of CCP, Guangzhou 510070, China) 　　Abstract: Combined with technologies of web spider, fuzzy matching and the improved hilltop algorithm, the paper designed a web content retrieval system, which could capture pages of website, process the retrieval command, match the web content, calculate the relative degree and manage the system resource, and so on, help supervisory department to monitor and manage the web published content effectively. 　　Key words: Web Content Retreival; Web Spider; Fuzzy Matching; hilltop algorithm 　　 　　1 前言 　　 　　目前，计算机网络信息技术发展迅速，为人类的发展起到积极的推动作用，但也存在负面的影响，如网上色情赌博有害信息、虚假信息、政治经济的谣言等等，对社会造成一定的危害，也会影响政治和经济和稳定，甚至危害国家安全。本文设计的网站内容检索系统能够很好地满足各监管部门对加强信息监控和管理的迫切需求，协助他们及时发现已经发布在网络上的有害、虚假、反动的信息，快速高效地完成工作。 　　 　　2 系统的总体结构 　　 　　内容检索系统由分网页获取、模糊检索和用户查询三大部分组成，如图1所示。网页获取部分主要包括IP数据库、网站内容收集器和网页资源库。IP数据库保存了系统要抓取网站的IP地址以供网站内容收集器使用。网站内容收集器用于根据IP数据库的信息从相关网站获取对应的网页。网页资源库用于保存网站内容收集器抓取各种网页资源。模糊检索部分主要包括关键词典库、中心资源管理器、模糊检索器、命令处理接口、页级别判定器和检索结果库。关键词典库保存了用户键入的关键词和使用关键词的历史记录。中心资源管理器主要用于管理系统的各种资源、包括IP信息、关键词信息等等。命令处理接口用于接收客户端提交的检索请求命令，并将命令提交给模糊检索器执行。模糊检索器是系统的重要核心部件，它负责将根据各种资源和检索命令进行匹配运算，也可以基于首次检索结果的基础上进行二次检索，以得到更正确地，更合理地、匹配度更高的结果。检索结果库用于保存各种检索结果。页级别判定器能确定检索结果的匹配程度，并按相关度高低生成检索结果网页。用户查询部分主要包括本地IP数据库、本地关键词典库、本地资源管理器、检索命令提交器和本地检索结果，其中检索命令提交器负责根据用户的键入信息和系统的资源生成检索请求命令，并提交给服务端系统执行。 　　 　　3 系统的工作原理 　　 　　网站内容收集器根据IP数据库的IP信息或URL信息访问相应的网站，抓回该网站的网页存放到网页资源数据库。用户通过客户端系统生成的检索请求，由检索命令提交器发送到服务端的命令处理接口进行预处理、解释，转换成模糊检索器可以执行的命令。然后模糊检索器根据命令信息从网页资源库中取出相应的网页（若网页资源库没有该网站的网页，调用网站内容收集器获得该网页），进行关键词匹配检索运算，找出匹配的网页，并通过页级别判定器对检索结果依据排序算法进行相关度排序，结果保存在检索结果库或直接