04检索的改进技术.ppt

检索的改进技术;这一部分将讲述;文本处理——term处理;信息检索系统的体系结构;文本表示;文本处理主要方法;断词;分词;异文合并;特点;英文异文合并(Conflation)方法;异文合并方法之一：查表;异文合并方法之二：词缀删除;上下文有关和上下文无关;Porter算法 (1980);异文合并方法之三：后继变化数;;利用后继变化数信息切分词;繁简转换;汉字简繁转换;其它term处理;词性标注表;文本处理——文本的特性;文本词频分布;文本的特点;样本词频数据(from B. Croft, UMass);Zipf’s Law;Zipf(齐普夫)’s定律;Brown语料库验证Zipf定律;Zipf定律对IR的影响;词表增长;Heaps’ Law;Heaps’ 定律;选择分辨力强的索引项;索引项的分辨力;索引项分辨力举例;索引项分辨力的计算;索引项分辨力（图示）;文本质心;索引与检索——倒排文档;;建立索引的目的;在关系数据库上建索引;对文档进行索引;倒排文档组成;一般的倒排索引;例子;以文本为记录表;距离约束：需要位置信息为记录表;以位置信息为记录表;以权重信息为记录表;同义词扩展词汇表;建立索引的过程;建立索引的过程 – 举例;检索过程;倒排索引上的布尔检索;倒排索引上的布尔检索;倒排索引的优点;倒排索引的缺点;倒排文档中研究的问题;倒排文档的压缩;变长整数描述变化;压缩技术带来的负面影响;倒排索引的插入开销;倒排索引的插入开销;倒排文档更新：删除和插入;通过排序进行批插入;在批插入中提高速度;快速倒排算法;快速倒排算法;后缀数组;后缀数组;;后缀数组的使用 ;例子:;后缀数组的分析 ;索引与检索——签名（Signature）文件;使用签名;词的签名;;块的签名生成;顺序的签名文件;用签名文件进行检索;;误检（False Drop）概率;作为过滤器的签名文件;存储开销;设计时的决策;优点;缺点;顺序检索;顺序检索技术;全文扫描(Full Text Scanning);全文扫描;模式匹配算法;模式匹配——BF算法;Brute Force算法(1);Brute Force算法(2);Brute Force算法—性能;模式匹配——KMP;KMP(Knuth-Morris-Pratt) 匹配算法;KMP算法——基本思想;KMP算法 – 基本思想;KMP匹配算法 – 举例;KMP – 一般原则;KMP算法 – Shift表;KMP算法 – 性能;模式匹配——Boyer-Moore;Boyer-Moore算法;BM算法 -- D1 Shift;D1 Shift表;BM算法 -- D2 Shift;D2 Shift 的实现;D1 和 D2 的对比;BM算法 – 扩展的 D1 Shift;扩展 D1 Shift算法;BM算法 – 小结;BM算法 – 性能;算法选择: 启发式;模式匹配——Karp-Rabin;Karp-Rabin算法;Karp-Rabin算法（1）;Karp-Rabin算法 (2);有效的模式匹配是否有用？;Query处理——相关反馈;;文档检索;相关反馈(Relevance Feedback);Query修改过程;相关反馈的作用;Query修改的基本思路;理想情况;一般情况;优化的Query;Query修改;举例;向量空间模型中的反馈与查询重构;向量空间模型中的反馈与查询重构;向量空间模型中的反馈与查询重构;需要确定的参数;相关反馈的作用;Query 分裂;文档空间的修改;修改文档空间的例子;文档的修改;Query处理——查询扩展;基于词典的查询扩展;同义词词林;词典的使用：例子;使用词典的例子;本章小结