计算语言学讲义(11上)信息检索入门（王斌）.pdf

信息检索入门 Introduction to Information Retrieval 中国科学院计算技术研究所 王斌骆卫华 2006.5 内容 信息检索的基本概念 信息检索的基本流程 信息检索的评价方法 信息采集 信息分析及索引 信息检索模型及其他相似度计算方法 查询扩展及相关反馈 内容 信息检索的基本概念 信息检索的基本流程 信息检索的评价方法 信息采集 信息分析及索引 信息检索模型及其他相似度计算方法 查询扩展及相关反馈 查询 相关的结果 信息检索 Information Retrieval(IR)：从文档集合中返回满足用 户需求的信息 例1：返回与信息检索相关的网页搜索引擎(Search Engine, SE) 例2：毛主席的生日是哪天？问答系统(Question Answering, QA) 例3：返回联想PC的型号、配置、价格等信息信息抽取 (Information Extraction, IE) 例4 ：订阅有关NBA的新闻信息过滤(Information Filtering)、信息推荐(Information Recommending) 狭义的IR通常是指Information Search，广义的IR包含 非常多的内容(SE, QA, IE, …) 信息检索和数据库检索 信息检索 数据库检索 检索对 无结构、半结构数据 结构化数据 象 如网页、图片…… 如：员工数据库 检索方 通常是近似检索 通常是精确检索 式 如：每个结果有相关度 如：姓名==“李 得分 明” 检索语 主要是自然语言 SQL结构化语言 言 如：查与超女相关的新 闻 近年来，两种检索已经逐渐融合，边界越来越不明显。 信息检索的基本概念 用户需求(Information Need，IN) 严格地说，IN存在于用户的内心，但是通常用文字来描述， 如查找与2006世界杯相关的新闻，通常也称为主题(Topic) IN提交给检索系统时称为查询(Query)，如2006 世界杯，一 个IN可以对应多个Query 文档(Document) 可以是文本、图像、视频、语音文件等 文档集合(Collection) 所有待检索的文档构成的集合 相关度(Relevance) 相关度目前也没有统一的定义，简单地认为是查询和文档的匹配相似度 得分 形式上说，相关度是一个函数R，输入是查询Q、文档D和文档集合C，返 回的是一个实数值 R=f(Q,D,C) 信息检索就是给定一个查询Q，从文档集合C中计算每篇文档D与Q的相关 度并排序(Ranking)。 相关度通常只有相对意义，对一个Q，不同文档的相关度可以比较，而 对于不同的Q的相关度不便比较 相关度的输入信息可以更多，比如用户的背景信息、用户的查询历史等 等 现代信息检索中相关度不是唯一度量，如还有：重要度、权威度、新颖 度等度量。 Google中据说用了上百种排名因子 内容 信息检索的基本概念 信息检索的基本