信息检索课件–精简版–建模.ppt

模型的分类 按所使用的数学方法分类 基于集合论 布尔模型 基于线性代数 向量空间模型 基于概率论 概率模型 布尔模型（基于集合论） D（文献表示） 表示为不带权重的标引词的集合，或者说，二值的标引词权重wi,j＝0或者wi,j＝1 Q（查询） 表示为标引词的布尔表达式 用and、or、not连接标引词构成查询 F（联系机制） 布尔表达式转换为集合表达式 布尔算子and（∧）、or（∨）、not（?）替换为交（∩）、并（∪）、补（ˉ） R（排序） 对于每个标引词ki，得到一个文本的集合Dki＝{dj|wi,j=1} 在结果集合里的文本是相关的，其他是不相关的 布尔模型举例 布尔模型的实现 输入：各种文档（PDF, DOC, TXT, HTML, XML…） 输出：索引表 处理过程 格式转换 文档编号 结构分析 检索最小单元识别 细结构化 构建索引空间 保存文件 向量空间模型（基于线性代数） D（文献表示） 文本表示为带权重的标引词的集合，dj={w1,j, w2,j, …, wt,j} 权重表示该标引词与该文本的相关程度 Q（查询） 查询也表示为带权重的标引词的集合， q={w1,q, w2,q, …, wt,q} 权重表示标引词与用户需求的相关程度 F（联系机制） 文本和查询有同样的表示（ t维空间的向量） 查询被当作为假想的文本 向量空间模型（基于线性代数） R（排序） 用向量夹角的余弦计算dj和q的相似度 从文本到向量空间 文本的向量表示示例 夹角余弦计算举例 特征项的权重设定 索引过程首先要从文献中抽取重要词，把它们映射到特征项集中，进行权重计算。 由于文献中不同词汇的出现频率随文章的内容和作者的习惯而不同，因此，最初的索引系统都是从应用词频开始的。 实际应用中显得有些粗糙 为什么中频词好？ 两个阈值怎么选取？ 但是，这些思想为信息检索系统中项的选取奠定了基础 有价值的特征项 有价值的特征项应具备以下特征： 相关度 与文献内容有关，以便在需要时进行索引项的检索 区分度 能将一篇文献与其它文献区分开 怎么度量 项频率tf（文献内频率） 反比文献频率idf（inverse document frequency） 项频率 tf 一个项的重要性随着它在文献中的出现频率的提高而提高 我们应该采用某种依项的出现频率单调递增函数来估算权重 项在文献中出现的次数称为项频率（term frequency, tf），根据项频率计算项的重要性的函数称为项频率因子，简称tf因子。 反比文献频率idf 在许多篇文献中出现的项的区分度小于仅在很少几篇文献中出现的项 这表明应该用一个依项在其中出现的文献数目单调递减函数来评估项的重要性 基于这个原因，人们提出反比文献频率因子，简称idf因子 一般用log(N/nk)或各种变形来计算。 其中，N是文献总数，nk是第k个特征项在其中出现的文献数，称为项的文献频率 tf.idf tf.idf 示例 tf.idf 示例