评分满意度分布比例定义相关性问题分类效果评价方法.ppt

问题 当前业界现状与搜索引擎效果 效果评价方法 基于人工标注的评价和改进体系 衍生产物 各家搜索效果特点 再论元搜索 当前格局 百度、谷歌、搜狗、雅虎 有道、腾讯 爱问、中搜 百度 进入IM领域 百度知道对网页搜索有巨大的支撑作用 李彦宏：元搜索没有生命力 谷歌 手机、浏览器 搜狗 搜狗拼音输入法高歌猛进 帮助搜狐实现矩阵资源的个性化、广告投放 今年会有更多创新和新产品 雅虎 微软并购案进行中 准备启用Google Adsence 有道 基于java的分布式操作平台 腾讯 搜索流量从拦截地址栏开始 准备建立3000人编辑团队 三个问题 搜索效果还有改进空间么？ 人力和自动化的优缺点是什么？ 元搜索是否可行？ 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 了解用户的搜索目的 获取用户搜索词样本 每日大量的查询词收集 关注各类Top查询词 关注上升最快的热点查询词 对查询意图进行分类 关键词属性：如电影、股票、人名、网站、视频、学习、公司机构、游戏、软件、文学… 用户意图：下载、在线、URL、图片… 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 影响用户满意度的几个主要方面 相关性 导航是否命中 时效性 多样性 权威性 影响用户满意度的几个主要方面 相关性 逐条评价，考察每一条结果与用户查询相关的程度；评价为 极好（相关且完全满足需求），5分 好（相关且满足部分需求），4分 中（仅相关），2分 差（不相关）0分 导航是否命中 时效性 多样性 权威性 影响用户满意度的几个主要方面 相关性 导航是否命中 仅评价第一条结果，考察导航类查询，以及品牌官网，公司主页，名人官网/博客等的首条命中情况；评价为 命中，1分 未命中，0分 时效性 多样性 权威性 影响用户满意度的几个主要方面 相关性 导航是否命中 时效性 逐条评价，考察结果的时效性；按照网页的最后更新时间，评价为 即时（3天内），5分 新（4-7天），4分 中（7天-1月），3分 稍旧（1月-1年），1分 旧（一年以上），0分 多样性 权威性 影响用户满意度的几个主要方面 相关性 导航是否命中 时效性 多样性 考察有多重含义的查询词是否满足了各类需求；针对整体（前10条）进行评价，且需要结合查询词所属的类别，评价为 好（各类需求兼顾，且主流需求突出，即查询词所代表的主要含义体现在第一条结果中且整体占3条以上）5分 中（各类需求兼顾，但主流需求不突出）3分 差（仅满足了主流需求），2分 极差（没有满足主流需求），0分 权威性 影响用户满意度的几个主要方面 相关性 4分的相关性 定义 满足了用户的部分需求 搜索结果内容质量中等 各类搜索词意图定义 URL意图 图片意图 下载意图 在线意图 资料信息意图 其他意图 影响用户满意度的几个主要方面 相关性 4分的相关性 在线意图 定义 结果页页面的核心内容区域中有完全满足用户需求的内容，且结果能够在线视听，阅读，游戏；此时，结果页面或者为在线视听页本身，或者包含在线视听、阅读、游戏页面链接，需要点击1次才进入在线视听、阅读、游戏页面。 子分类 当搜索词未说明视频/音频剧集，音频版本，小说段落、游戏版本时 当搜索词说清楚了软件版本，视频剧集，音频版本，小说段落，游戏版本时 影响用户满意度的几个主要方面 相关性 4分的相关性 在线意图 当搜索词未说明视频/音频剧集，音频版本，小说段落、游戏版本时 a.结果页面中是该视频/音频剧集，但是部分剧集链接，或是剧集的某一集，预告片等，相关性为4分。 b.果页面中是该音频，但音频不是最热版本/最被大众认可版本时，相关性为4分。 c.结果页面中是该小说段落，但是小说部分章节目录，相关性为4分。 d.结果页面中是该游戏，但游戏不是最热版本/最被大众认可版本时，相关性为4分 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 分析和对比我们的技术服务水平 获得如下的珍贵数据 模拟用户真实查询，我们与竞争对手的差别评估数据 我们目前做得不好的大量实例Case 竞争对手比我们做得好的实例Case 分析和对比我们的技术服务水平 分析和对比我们的技术服务水平 分析和对比我们的技术服务水平 了解用户的搜索目的 影响用户满意度的几个主要方面 分析和对比我们的技术服务水平 如何将用户的感受目标变成开发工作 如何将用户的感受目标变成开发工作 产品人员用在第三步中得出的大量实例Cas