第四章 Web信息检索-基础.ppt

搜索工作流 搜索工作流 用户交互（User Interaction） 帮助用户输入有效的搜索语句 结果显示（连接、结果片段） 排序（Ranking） 访问索引 使用各种统计信息对结果进行排序 效果评价（Evaluation） 记录用户的访问历史 分析用户行为、实时评估搜索质量 Google in 1997 * Google in 2001 * A Google Cluster in Late 2000’s * Google Data Center – Now * Google Data Center – Now * Google’s Data Volume 45 Billion Web pages in 2013. 100kb/page ? 4.5 petabytes in total 330 million searches per day in 2010 ? 4000 queries per second. Response time 0.5 second. Processing 24 petabytes of data per day in 2009. * Google’s Machines 200+ clusters in one data center Each cluster consists of 1000s machines Every year: 1-5% of disks die A server crashes twice 20 rack failures * Linked lists generally preferred to arrays Dynamic space allocation Insertion of terms into documents easy Space overhead of pointers * Linked lists generally preferred to arrays Dynamic space allocation Insertion of terms into documents easy Space overhead of pointers * * 目录 信息检索介绍 布尔检索 索引的创建 搜索的准确性 全局排序 排序过程 搜索的评价 搜索引擎的架构 对搜索引擎的评价标准 用户满意度 百度 用户回访率 淘宝的搜索引擎 商品选择成功率 如何衡量用户的满意度 信息的覆盖面 –文档集的大小 响应速度 搜索界面的易用性 搜索的准确性 – 结果的相关性 … 如何评价搜索准确性 用户调研 找一群用户，布置一系列的搜索任务，观察他们的搜索行为和搜索效率 因素：用户群大小、任务的数量、观察点 … 用户调研是耗时耗力的工作 如何评价搜索准确性 标准测试 Benchmark 使用一个公共的文档集。 建立一系列有代表性的搜索任务集。 每个搜索任务都有标准答案（哪些文档是相关的，哪些是不相关的）。 给定一个搜索引擎，测试其在Benchmark上的准确性。 标准测试中的任务 用户需求的陈述： Im looking for information on whether drinking red wine is more effective at reducing your risk of heart attacks than white wine. 查询语句：wine red white heart attack effective 根据用户需求，标注文档集中的相关文档 常用的标准测试 Text Retrieval Conference (TREC) 1992年开始建立 1.89 million 文档 450 个搜索任务 Cranfield Collection (50年代开始建立) NTCIR (日语测试集) 如何使用测试衡量准确性 结果集中的相关文档（即能满足用户需求的文档）越多越好 Precision = 相关结果的数量 / 结果的总数 将尽量多的相关文档囊括到结果集中 Recall = 相关结果的数量 / 相关文档的数量 结果集 相关文档 Precision Recall Precision P = tp/(tp + fp) Recall R = tp/(tp + fn) Relevant Nonrelevant Retrieved tp fp Not Retrieved fn tn 例子 10个结果 100个结果 Relevant Nonrelevant Retrieved 8 2 Not Retrieved 42 … Relevant Nonrelevant Retrieved 45 55 Not Retrieved 5 … 合并