垂直搜索中数据清洗和排序算法研究.pdf

摘要 摘要 “信息过载”问题随着web信息资源的迅速膨胀变得越来越严重，而搜索 引擎是解决这一问题的基本工具。由于传统搜索引擎是面向大众用户的，检索结 果往往面向各行各业，因此用户不容易找到自己所需要的信息。垂直搜索引擎的 出现在一定程度上解决了通用搜索引擎对专业领域及特定主题信息覆盖率过低 的问题。在国家科技支撑项目子课题一“基于本体的农业搜索引擎’’ 的支持下，本文围绕农业垂直搜索引擎的关键问题开展研究。 中国搜索引擎用户不满意因素的调查结果显示：用户对结果的排序不满意占 了很大的比重。本文对搜索排序算法进行了认真分析，现有通用搜索引擎大都采 用了输入一输出的响应模式，该模式没有考虑用户反馈。论文提出了一种基于 lucene基础排序算法的改进算法，该改进算法考虑了多个排序因素：(1)为了体 现网页链接的重要性，算法融合了pagerank算法；(2)网站等级得分；(3)用 户反馈得分：将反映用户兴趣的点击行为和网页浏览时间转化为兴趣度并作为搜 索结果排序的一个得分因子。该算法通过实验验证了其优越性。 优秀的排序算法也需要一个高质量的数据来源，高质量的搜索结果必然依赖 于高质量的数据，为了避免得到重复、相似或者信息不完整的搜索结果，数据的 正确性是至关重要的，否则就会出现“一流的引擎，二流的数据库的现象，所 以，数据预处理工作相当重要，数据清洗工作也被提到显著位置。本文设计了基 于MD5数字签名的数据消重算法，在查准率、查全率和响应时间上都满足实际 需求，同时，在处理不完整信息方面提出了处理方法，即利用其它项属性值来推 测缺失项属性值，以及使用最可能的值来填充缺失值，该方法己成功应用于农业 垂直搜索引擎中。 最后，本文设计一个农业垂直搜索引擎，从总体设计到核心模块设计进行了 详细说明。该垂直搜索引擎的系统测试结果显示其在查准率、查全率、响应时间 三个重要指标中均表现良好，满足了项目的实际需求。 关键词：垂直搜索用户反馈搜索排序算法数据清洗 ABSTRACT With the ofthewebinformation rapidexpansion is thesearch overload”problemworse，and isthebasictoolto getting engine solve this the problem．Becausetraditionalsearch isfor the users，andsearch enginepublic for resultsare allkindsof itisdifficultfor industries，SO USCEStofindthe infonnation need．Toacertain they extent，theverticalsearch resolvesthe oflow engine problems of informationfor coverage areasand professional whichacommon specificsubjects search