网页搜索效果评价幻灯片.ppt

衍生产物 元搜索是否可行？ 产品形态满足用户使用习惯 能对各家搜索引擎的不对称性有深入了解 对于结果数小于10 条的，直接拼接各家结果 对于结果中搜狗时效性高的页面加权出现 对于查询词长句，谷歌结果加权出现 对于在线类查询，搜狗结果加权出现 … 后记 搜索引擎和网上信息挖掘是工程与研究高度结合的产物，愿与学术界加强交流与合作，共同进步 谢 谢 网页搜索效果评价 提 纲 问题 当前业界现状与搜索引擎效果 效果评价方法 基于人工标注的评价和改进体系 衍生产物 各家搜索效果特点 再论元搜索 业界现状 当前格局 百度、谷歌、搜狗、雅虎 有道、腾讯 爱问、中搜 百度 进入IM领域 百度知道对网页搜索有巨大的支撑作用 李彦宏：元搜索没有生命力 谷歌 手机、浏览器 业界现状 搜狗 搜狗拼音输入法高歌猛进 帮助搜狐实现矩阵资源的个性化、广告投放 今年会有更多创新和新产品 雅虎 微软并购案进行中 准备启用Google Adsence 有道 基于java的分布式操作平台 业界现状 腾讯 搜索流量从拦截地址栏开始 准备建立3000人编辑团队 三个问题 搜索效果还有改进空间么？ 人力和自动化的优缺点是什么？ 元搜索是否可行？ 效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 效果评价方法 了解用户的搜索目的 获取用户搜索词样本 每日大量的查询词收集 关注各类Top查询词 关注上升最快的热点查询词 对查询意图进行分类 关键词属性：如电影、股票、人名、网站、视频、学习、公司机构、游戏、软件、文学… 用户意图：下载、在线、URL、图片… 效果评价方法 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 效果评价方法 影响用户满意度的几个主要方面 相关性 导航是否命中 时效性 多样性 权威性 效果评价方法 影响用户满意度的几个主要方面 相关性 逐条评价，考察每一条结果与用户查询相关的程度；评价为 极好（相关且完全满足需求），5分 好（相关且满足部分需求），4分 中（仅相关），2分 差（不相关）0分 导航是否命中 时效性 多样性 权威性 效果评价方法 影响用户满意度的几个主要方面 相关性 导航是否命中 仅评价第一条结果，考察导航类查询，以及品牌官网，公司主页，名人官网/博客等的首条命中情况；评价为 命中，1分 未命中，0分 时效性 多样性 权威性 效果评价方法 影响用户满意度的几个主要方面 相关性 导航是否命中 时效性 逐条评价，考察结果的时效性；按照网页的最后更新时间，评价为 即时（3天内），5分 新（4-7天），4分 中（7天-1月），3分 稍旧（1月-1年），1分 旧（一年以上），0分 多样性 权威性 效果评价方法 影响用户满意度的几个主要方面 相关性 导航是否命中 时效性 多样性 考察有多重含义的查询词是否满足了各类需求；针对整体（前10条）进行评价，且需要结合查询词所属的类别，评价为 好（各类需求兼顾，且主流需求突出，即查询词所代表的主要含义体现在第一条结果中且整体占3条以上）5分 中（各类需求兼顾，但主流需求不突出）3分 差（仅满足了主流需求），2分 极差（没有满足主流需求），0分 权威性 效果评价方法 影响用户满意度的几个主要方面 相关性 4分的相关性 定义 满足了用户的部分需求 搜索结果内容质量中等 各类搜索词意图定义 URL意图 图片意图 下载意图 在线意图 资料信息意图 其他意图 效果评价方法 影响用户满意度的几个主要方面 相关性 4分的相关性 在线意图 定义 结果页页面的核心内容区域中有完全满足用户需求的内容，且结果能够在线视听，阅读，游戏；此时，结果页面或者为在线视听页本身，或者包含在线视听、阅读、游戏页面链接，需要点击1次才进入在线视听、阅读、游戏页面。 子分类 当搜索词未说明视频/音频剧集，音频版本，小说段落、游戏版本时 当搜索词说清楚了软件版本，视频剧集，音频版本，小说段落，游戏版本时 效果评价方法 影响用户满意度的几个主要方面 相关性 4分的相关性 在线意图 当搜索词未说明视频/音频剧集，音频版本，小说段落、游戏版本时 a.结果页面中是该视频/音频剧集，但是部分剧集链接，或是剧集的某一集，预告片等，相关性为4分。 b.果页面中是该音频，但音频不是最热版本/最被大众认可版本时，相关性为4分。 c.结果页面中是该小说段落，但是小说部分章节目录，相关性为4分。 d.结果页面中是该游戏，但游戏不是最热版本/最被大众认可版本时，相关性为4分