lecture19-websearch 第19讲 Web搜索 现代信息检索导论　教学课件.ppt

Introduction to Information Retrieval 现代信息检索 中科院研究生院2011年秋季课程《现代信息检索》 更新时间： Modern Information Retrieval 授课人：王斌 /~wangbin *改编自”An introduction to Information retrieval”网上公开的课件，地址 /IR-book/ 第19讲 Web搜索 Web Search 2011/12/01 提纲 上一讲回顾 互联网发展趋势 互联网广告 重复检测 提纲 上一讲回顾 互联网发展趋势 互联网广告 重复检测 4 SVD分解的例子C = UΣVT : 所有的四个矩阵 5 将空间维度降为 2 实际上，我们只需将矩阵Σ中相应的维度置为0即可。此时，相当于矩阵U 和V T 的相应维度被忽略，然后计算C2 = UΣ2V T . 6 为什么新的低维空间更好？ 在原始空间中， d2 和d3的相似度为0； 但是在新空间下， d2 和 d3的相似度为： 0.52 * 0.28 + 0.36 * 0.16 + 0.72 * 0.36 + 0.12 * 0.20 + - 0.39 * - 0.08 ≈ 0.52 7 本讲内容 互联网发展趋势分析 互联网广告 重复检测 提纲 上一讲回顾 互联网发展趋势 互联网广告 重复检测 9 Web搜索系统组成 10 搜索是Web上使用最多的应用之一 11 没有搜索引擎，Web甚至无法运转 没有搜索，很难找到所需的内容 → 没有搜索，在Web上创建内容也就缺了动机 如果没人看为什么要发布内容？ 如果没有任何回报为什么要发布内容？ Web上必须要有人买单 服务器、Web基础设施、内容创建过程等需要费用支持 这些费用的大部分都是通过搜索广告支付 可以说，搜索为Web买单 12 兴趣聚合(Interest aggregation) Web的特点：具有相同兴趣的人，即使所处地理位置分散，也可以通过Web找到对方 患有血友病的小学生们 将R5R5语言翻译成可便携C语言的人们 (开源项目和社区) 搜索引擎是实现兴趣聚合的关键事物 13 Web IR vs. 一般的IR 在Web上，搜索不仅仅是一个好的特点 搜索是Web的关键事物: . . . . . . 筹资、内容创建、兴趣聚合等等 → 参考搜索广告 Web是一个充满噪声数据且组织失调的集合体 → 大量的重复需要检测 用户可以无控制和无限制地发布内容→ 大量作弊内容需要检测 Web规模非常大 → 需要知道Web的规模大小 提纲 上一讲回顾 互联网发展趋势 互联网广告 重复检测 15 第一代搜索广告: Goto (1996) 竞价排名 16 第一代搜索广告: Goto (1996) Buddy Blake 为此搜索投出最高价 ($0.38) 只要某个人点击了该链接，Buddy Blake就要付$0.38的费用给 Goto 公司 搜索结果按照投标价格的顺序排序 – Goto可以获得最大的收益 不区分广告还是文档，仅仅是一个结果列表！ 广告预售，坦诚公开，没有相关度排序 . . . 但是Goto并不假装存在相关度 17 第二代搜索广告: Google (2000/2001) 严格区分搜索结果和搜索广告 18 两个列表结果: web 网页 (左图) 及广告 (右图) SogoTrade 出现在搜索结果中 SogoTrade 出现在广告中 搜索引擎是不是把广告商的结果放在非广告商的结果之前？ 所有的主流搜索引擎都否认这一点 19 广告是否会影响编辑的内容？ 在报纸、电视上存在类似问题 报纸一般不会刊登针对其主要广告商的严厉指责性质的文章 在报纸和TV上，广告和编辑内容之间的界限往往变得很模糊 现在还不清楚搜索引擎广告是否和上面一样 20 广告在右部如何排序？ 21 如何对广告排序？ 广告商对关键词竞标 – 拍卖方式 拍卖系统公开，任何人都可以参与关键词竞标 广告商仅在用户点击广告商才真正付费 拍卖机制如何确定某条广告的排序以及该广告的支付价格？ 基本思路是次高价拍卖(second price auction)原则 搜索引擎中最重要的研究领域之一计算广告学 对每条广告压榨出一分钱也就意味着为搜索引擎公司带来上亿的额外收益 22 如何对广告排序？ 简单的方法: 按照类似Goto的方式，即按照投标价格排序 不好的方法: 可能会被滥