信息检索与数据挖掘.pdfVIP

信息检索与数据挖掘信息检索与数据挖掘 2018/3/16 11 信息检索与数据挖掘 第5章 向量模型及检索系统 ——第一讲 向量模型 信息检索与数据挖掘 2018/3/16 2 课程内容 • „第1章 绪论 • 第2章 布尔检索及倒排索引 • 第3章 词典查找及扩展的倒排索引 • 第4章 索引构建和索引压缩 • 第5章 向量模型及检索系统 • 向量模型 • 检索系统 • 第6章 检索的评价 • 第7章 相关反馈和查询扩展 • 第8章 概率模型 • 第9章 基于语言建模的检索模型 • 第10章 文本分类 • 第11章 文本聚类 • 第12章 Web搜索 • 第13章 多媒体信息检索 • 第14章 其他应用简介 信息检索与数据挖掘 2018/3/16 3 本讲提纲 ❶ 回顾 ❷ 排序式检索 ❸ 词项频率 ❹ tf-idf权重计算 ❺ 向量空间模型 信息检索与数据挖掘 2018/3/16 4 本讲提纲 ❶ 回顾 ❷ 排序式检索 ❸ 词项频率 ❹ tf-idf权重计算 ❺ 向量空间模型 信息检索与数据挖掘 2018/3/16 5 回顾：布尔检索 • 文档表示 • 一个文档被表示为关键词的集合 • 查询表示 • 查询式 (Queries)被表示为关键词的布尔组合，用 “与、 或、非”连接起来（主析取范式DNF ） • 相关度计算 • 一个文档当且仅当它能够满足布尔查询式时，才将其检 索出来 • 检索策略是二值匹配 信息检索与数据挖掘 2018/3/16 6 回顾：倒排索引 倒排记录 Brutus 1 2 4 11 31 45 173 174 Caesar 1 2 4 5 6 16 57 132 Calpurnia 2 31 54 101 词项词典 倒排记录表 Dictionary Postings List 信息检索与数据挖掘 2018/3/16 7 回顾：词典的建立及扩展的倒排索 引 如何建立词项词典？ 文档解析：格式？语言？编码方式？ 词条化：词条（Tokens）/词项（Terms） 停用词：停用词表？查表法 or 基于文档频率 词项归一化：等价类同义词扩展表 词形归并：am, are, is be 词干还原：去除单词两端词缀、Porter算法 如何实现倒排记录表？ • 跳表:跳表指针 (位置、个数、更新问题） • 短语查询 • 二元词索引扩展的二元词索引：词性标注 • 位置信息索引邻近查询 • 混合索引机制 信息检索与数据挖掘