个性化新闻搜索引擎的研究与设计-计算机应用技术专业论文.docx

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 摘要 摘 要 随着计算机各项技术的不断发展，信息化时代已经到来。如何让用户在海量 的数据中快速并且准确的获取自己所需要的信息，是互联网行业一个亟待解决的 问题。为此，搜索引擎应运而生。垂直搜索是搜索引擎中一个重要的组成部分， 它能帮助用户在自己的专业领域快速的获取信息，可以获得比通用搜索更高的搜 索效率和更准确的搜索结果。另外，个性化技术能针对不同的用户给出不同的检 索方案，它对提高用户的检索满意度有很大帮助。目前大多数的搜索引擎是通过 匹配索引关键词进行数据检索，并没有考虑到各个用户所关心的信息领域，所以 搜索引擎检索出的相当一部分结果与用户的需求并不相关。垂直搜索引擎的个性 化研究是解决这种检索结果相关性瓶颈的一种有效方法。 本文从垂直搜索引擎的基本概念，基本原理，组成结构以及工作流程入手， 研究了网络爬虫模块，索引模块及关键词检索模块等，并结合用户兴趣模型，设 计了一种适合于垂直搜索引擎的个性化搜索解决方案，最后实现了个性化垂直搜 索引擎的一个实例。网络爬虫模块从各大门户网站中进行数据爬取，并结合主题 相关度进行 URL 筛选；索引模块引入了文本分类技术，在保证索引效率的基础上 对不同类别的文本在构建索引时区别考虑；检索模块结合了用户兴趣模型和文本 分类技术，提升了检索结果与用户意图之间的相关性。 本文的研究内容和创新点主要包括三个方面。第一，提出了一种个性化垂直 搜索中可行的专业爬虫解决方案。目前的垂直搜索引擎并没有充分的考虑 URL 主 题相关性过滤，这将导致大量噪声网页产生。本文把 URL 相关性过滤机制引入到 专业爬虫中，并对网络爬行策略进行了改进，提高了专业爬虫的信息采集效率。 第二，提出了一种适合于垂直搜索的文本分类方法。目前的垂直搜索引擎主要是 通过栏目标题等进行分类，它们存在人工干预强，分类过程不灵活等问题。本文 将通用搜索的特征选择以及文本分类算法引入到垂直搜索中，并对其改进和优化， 使其更适合垂直搜索引擎。第三，本文引入了适合垂直搜索的个性化建模方法， 并通过相关反馈技术完善兴趣模型，让搜索引擎具有更强的个性化能力。 关键字：垂直搜索，个性化，用户兴趣模型，特征选择，文本分类 I ABSTRACT ABSTRACT With the developments of computer technologies, the information age has arrived. How to help users to earn their required information quickly and accurately is a problem which must be solved as soon as possible. Search engine arises at this moment. Vertical search engine is an important part of search engine. Vertical search engine can help users obtain information they need more efficiently and accurately than universal search engine does. In addition, personalization technology can provide different search results to different users. It makes great improvements to users’ search satisfaction. At present, most search engines only take users’ search words