基于用户群体行为分析搜索引擎自动性能评价.pptVIP

搜索引擎效果自动评价 例：查询“疯狂英语” SE1 SE2 SE3 / / /m/crazyenglish/ /crazyenglish.htm / / /crazyenglish.htm / / / /crazyenglish.htm / SE4 合并后的答案标注结果 / / / / / /crazyenglish.htm 答案自动标注实验 实验数据 8个月查询日志(超过7亿条日志信息) 针对其中高频导航类查询进行自动标注 对每个时间段抽取约5%的数据进行手工检查 时间段 标注查询数 检验样例数 样例集合准确度 Jun. 06 - Aug. 06 13,902 695 98.13% Sept.06 - Nov. 06 13,884 694 97.41% Dec. 06 - Jan. 07 11,296 565 96.64% 自动性能评价实验 与手工评价结果类似 手工评价结果与自动评价结果MRR值的相关系数达到0.965 SE1 SE2 SE3 SE4 SE5 自动性能评价实验 使用不同日志数据的实验 使用单搜索引擎日志 SE1 SE2 SE3 SE4 SE5 SE6 自动