SEWM2007中文Web信息检索评测.pptVIP

SEWM2007中文Web信息检索评测 * * 叶正 苏绥 刘菁菁 大连理工大学信息检索研究室 主要内容 系统框架 索引 PageRank计算 内容相似度计算 总结与展望 系统框架 主要工具 Lucene/Nutch NekoHTML 哈工大词法分析程序 原始数据集 链接及 锚文本库 提取链接 和锚文本 链接分析 索引/中文分词 索引库 查询词 二次检索 返回结果 更新数据集 索引 主要工具 Lucene 索引单元 词（去停用词） 二字串 索引速度 词：二字串 = 1：5以上 二字串检索速度较慢 实验结果 语料：CWT20g—NPHP(06最好结果：MRR＝0.8833) 索引（1） 0.884 √ √ 词 run2 0.920 √ √ 二字串 run4 0.862 √ 二字串 Run3 0.794 √ 词 Run1 MRR 二次排序 PR/锚文本 查询扩展 索引项 ID 结果分析 去停用词可能会损失信息 分词歧义影响检索效果 PageRank计算 Google PR 局部PR值计算 CWT200G随机分成10块 忽略内部链接 迭代5次 PageRank计算（1） 存在的问题 局部范围内链接关系较少，较多HP页面PR值低 个别站点PR值过高，影响排序 如：和 内容相似度计算 Ducument分成3个Field Anchor:4，title:2，contents:1 内容相似度评分算法 考虑查询词间距离 相邻查询词当作短语，权重：6 能一定程度提高导航搜索的精度（4%） 二次排序 HP 思想：HP型页面的URL特征比较明显，一般可以通过内容+规则（url特征）进行判定 实验结果：提高7% TD 算法：Hits及其改进算法（Krishna Bharat） 效果不明显 原因： 扩展集中链接数较少 扩展集包含的TD型页面实在太少 其他问题 乱码 空格对分词的影响 导航页的影响 总结与展望 考虑查询词在原文中的距离能提高检索精度 二次检索能较大提高检索精度，但比较耗时 改进网页质量评价算法 改进主题提取 融合影响排序各因素 网页分块 谢谢！ / 正文标题 正文内容 正文标题 正文内容 天网Topic（检索词）的特点： 大部分直接来源于网页标题 建议：如果没有好的分词软件，且数据量不是很大时，可使用二字串作为索引单元 分词歧义的影响： 1、检索词是原网页标题的一部分 2、分词的不一致性。 （检索词一般很短，而原文都是完整的句子） 二字串好处： 不用写复杂分词算法实现较简单，而且原文中信息不会丢失，索引速度快 不足： 查询相应时间较长 分块： 忽略内部链接： 大大降低计算量以及链接数据库WebDB的容量 如果PR值相隔比较大，可能有些相关性不是很高的页面排名也会很考前（如这次和 都极大的影响了排名，由于这两个页面中内容较多，PR值较大，所以查询命中后，评分都较大） 另外，这次PR的计算，是把256个data分成10份，计算局部的PR值，并且计算时忽略了站内链接，而实际上局部范围内站点间的链接关系比较少，这就导致了，大部分网页没有链接，即使是一个网站的主页，这种现象也很多。这对HP的查询结果影响很大，因为输入一个网站的标题，很难用内容相似度确定主页，实际中往往主页排名都非常靠后。