词袋模型的理解.pptVIP

“词袋模型” 的理解 目录 ? 一、 bag-of-words 简介 ? 二、 bag of visual words （视觉词袋模型） ? 三、 bag-of-visual-words 模型建立步骤 一、 bag-of-words 简介 ? Bag-of-words 模型是 信息检索 领域常用的文档表示 方法。在信息检索中， BOW 模型假定对于一个 文档 ， 忽略它的单词顺序和语法、句法等要素，将其 仅仅 看作是若干个词汇的集合 ，文档中每个单词的出现 都是独立的，不依赖于其它单词是否出现。也就是 说，文档中任意一个位置出现的任何单词，都不受 该文档语意影响而独立选择的。 ? 例如有如下两个文档： ① Bob likes to play basketball, Jim likes too. ② Bob also likes to play football games. 基于这两个文本文档，构造一个 词表 ： Vocabulary = {1. “Bob”, 2. “like”, 3. “to”, 4. “play”, 5. “basketball”,6. “also”, 7. “football”, 8. “games”, 9. “Jim”, 10. “too”} 。 这个词表一共包含 10 个不同的单词，利用词表的索引号，上面 两个 文档 可以用一个 10 维向量表示 ( 向量中元素为词表中单词在 文档中出现的 频率 ) ： D=[1, 2, 3, 4, 5, 6, 7, 8, 9, 10] ① [1, 2, 1, 1, 1, 0, 0, 0, 1, 1 ] ② [1, 1, 1, 1 ,0, 1, 1, 1, 0, 0 ] 以上向量也可以用单词的 直方图 表示：词表就相当于直方图的 基，新来的要表述的文档向这个基上映射 并不是所有的单词都用来构建词表： ① 相似的词：相似的单词用一个单词表示。例如 “ walk, walking ,walks ” 都用 “ walk ” 表示 。 ( 聚类问题 ) ② 禁用的词：像 a, an, the 等冠词在各个文档中出现的频率都很 高，不容易被区分，这类单词在建立词表的时候不被使用。 ( TF-IDF ) TF-IDF （ term frequency – inverse document frequency ）是一种统计方法，用以评估一字词对于一个文件 集中的其中一份文件的重要程度。 主要思想是：如果某个单词在一篇文章中出现的频 率（ TF ）高，并且在其他文章中很少出现（ IDF ）， 则认为这个单词具有很好的类别区分能力，适合用 来分类。 bag-of-words 实现步骤 1. 词汇表的建立： 大数据聚类，找到合适的聚类中心 点—— vocabulary 2. 样本的训练： 对每个文档进行训练，得到每个文档 的低维表示； 3. 新来样本的识别： 对新来的样本先用词表中单词得 到低维表示，然后用 分类器 进行分类预测。 应用： 假设一个巨大的文档集合，里面一共有 M 个文档，而文 档里面的所有单词提取出来后，一起构成一个包含 N 个 单词的词表，利用 Bag-of-words 模型，每个文档都可 以被表示成为一个 N 维向量，计算机非常擅长于处理数 值向量。这样，就可以利用计算机来完成海量文档的 分类过程。 二、 bag-of-visual-words 简介 ? 考虑将 Bag-of-words 模型应用于图像表示，这就 是 视觉词袋模型 。为了表示一幅图像，我们可以 将图像看作文档，即若干个“视觉单词”的集合 ，同样的，视觉单词相互之间没有顺序。 图 1 将 Bag-of-words 模型应用于图像表示 由于图像中的单词不像文本文档中的那样是现成的， 我们需要首先从图像中提取出相互独立的视觉单词， 这通常需要经过三个步骤： （ 1 ）特征检测（ 2 ）特征表示（ 3 ）词汇表的生成 一个视觉单词 图 2 从图像中提取出相互独立的视觉单词 SIFT 算法是提取图像中局部不变特征的应用最广泛的 算法，因此可以用 SIFT 算法从图像中提取不变特征点 ，作为视觉单词，并构造词汇表，用词汇表中的单词 表示一幅图像。 以下举例例讲解一下 bag-of-visual-words 模型的建 立步骤。 三、 bag-of-visual-words 模型建立步骤 ① 利用 SIFT 算法，从每类图像中提取视觉 单词 ，将所有的视 觉单词集合在一起。 以 SIFT128 维为例：假如现在有 3 张训练图片，对每一张训练图片都提 取 SIFT 的 128 维特征，那么最终可以得到 M = N 1 +N 2 +N 3 个 128 维的特征 ， N i 代表第 i 张图特征点的个数。