信息检索与web挖掘.pdf

信息检索与web搜索 目录 1. 信息检索中的基本概念 2. 信息检索模型 3. 关联性反馈 4. 评估标准 5. 文本和网页的预处理 6. 倒排索引及其压缩 ∗Web搜索是信息检索（IR）的一个分支 ∗ IR ：单个文档 文本数据库 ∗Web搜索：网页 1. 基本概念 查询形式： ∗ 关键词查询 ∗ 布尔查询 ∗ 短语查询 ∗ 邻近查询 ∗ 全文搜索 ∗ 自然语言查询 2. 信息检索模型 ∗ 作用：决定文档和查询的表示以及文档与用户查询相关 度的表示。 ∗ 种类：布尔模型，向量空间模型，语言模型，概率模型 ∗ 文档数据集：D ∗ 词汇表： = { , , ⋯, } ∗ 词权重：每个文档 中的词都有一个权值 ∗ 每个词是一个属性，每个权值是一个属性值 = , , ⋯, 2.1 布尔模型 用户查询和文档的关系 精确匹配 查询和检索的理论基础 布尔代数 文档和查询被表示为一组词 文档表示法 每个词的权值只有0和1 两种可能 布尔查询 查询词被AND ，OR ，NOT组合在一起 检索是基于二元决策规范的 文档检索 缺点：布尔检索没有部分匹配以及对检索文档做 排序的概念 2.2 向量空间模型VSM-1 ：系统或者文件集中的文件总数 ：词 出现在文档 中的次数 ： 中 的正规化词频率 ：词至少出现一次的文档数目 ：词 的逆向文档频率 最终的词逆向文档频率权值 ：文档 的长度 ：数据集中文档的平均长度 2.2 向量空间模型VSM-2 文档表示法 文档被表示为一个权值向量，每个权值都是通过TF表，或者TF-IDF表，或者他 们得变异版本计算得到。文档 中 的权值 可以是任何值 ∗ 词频率表（TF表）：文档 中 的权值就是在 中 出现的次数，定义为 ，也可进行正规化，即 。 缺点：没有考虑如果一个词出现在一个数据集的许多文档中，那么这个词将没有判别力。 ∗ 词逆向文档频率表（TF-IDF表）：最有名的权值表，词的逆向文档频率，即 查询 一个查询的表示法和文档的表示法是一样。中每个词 的权值 的计算方法