SEWM2005中文Web信息检索评测精选篇.pptVIP

SEWM2005中文Web信息检索评测 曹勇刚　曹羽中 北京航空航天大学软件工程研究所 * 任 务 　使用CWT100G测试数据（约570万个中文网页），完成以下两个任务： 主题提取 　对于一个特定主题发现一组关键资源，要求在前十个结果中寻找尽可能多的不同站点 主页/指定页面查询 返回最符合用户特定查询的那个网页，此网页在结果排序中越靠前越好 * 系统设计 　以开源工具Lucene/Nutch为基础进行扩展 索 引：使用Lucene的API,是倒排索引，但引入了Field的概念，索引时将网页划分为url, title, content, anchor等不同的field,这样可以进行有针对性的匹配及排序优化。 存储结构：使用Nutch基于二进制文件的webdb来存储关键资源，包括：网页文本，超链，anchor等　　 中文分词：使用我们自己开发的中文分词系统BUAASEISEG * 相关排序算法 把document划分为url,title,入链anchor,content等field,检索时按field分别匹配，在任意一个field中匹配上了，就算匹配成功。对每个field的匹配情况分别计算similarity得分(TF*IDF*Norm）,最后把所有field的匹配得分相加。 　对不同的field赋予不同的得分权重：url:4.0 anchor:2.0 tit