新）第九章 根据内容检索.pptVIP

令Q=(q1,…,qT)为查询权向量。最简单的形式，权值要么为1要么为0。下面二值模式的例子，考虑三个查询，每个都是由一个词条组成的，分别是“数据库” ，“SQL”，“回归”。根据前面例子，可以把这三个查询表达为三个向量：(1,0,0,0,0,0)、 (0,1,0,0,0,0)和(0,0,0,1,0,0)。利用余弦距离在表9-2所示的数据中匹配这三个查询，得到最相近的文档，分别是d2、d3和d9。 更一般的情况，是如何设置匹配查询中权值，以提高检索的性能。许多IR文献有相关的报导。 已经证明一种被称为TF-IDF加权的特殊加权模式在实践中特别有效。TF(term frequency)代表词条频率，表9-2中的文档-词条示例矩阵就是以TF的形式表示的。 然而，如果一个词条在文档集合中的很多文档中频繁出现，那么利用TF代表权进行检索的判断力就很小了，也就是它会提高查全率但是查准率可能很差。文档频率倒数-IDF(inverse-document-frequency)权可以提高判别力。 IDF定义为：log(N/nj)，式中N为文档总数，nj为包含词条j的文档数量。 IDF权偏向于仅在很少文档中出现的词条，也就是说它是有判别力的。采用对数形式是使这个权对文档总数N不特别敏感。 TF-IDF权就是特定词条在特定文档中的TF权和IDF权的乘积。表9-2中的文档矩阵所产生的IDF权是：(0.105,0.693,0.511,0.693,0.357,0.693)。由此可得TF-IDF文档-词条矩阵(即把表9-2中的TF权乘以对应的IDF权)，如表9-3所示。 在文档中匹配查询的经典方法是： ●把查询表示为词条向量，1表示词条出现在查询中，0表示不出现； ●利用向量分量的TF-IDF权把文档表示为词条向量； ●使用余弦距离尺度按照文档到查询的距离来排列文档。 表9-4显示了一个简单查询实例，比较了TF和TF-IDF方法。 上表中查询包含的词条是“数据库”和“索引”，即Q=(1,0,1,0,0,0)；使用表9-2矩阵；采用余弦距离。如果使用TF矩阵，文档d5是最相近的；使用TF-IDF权，d2是最相近的。 第9章 根据内容检索 本章目标 介绍根据内容检索的基本概念。 介绍检索系统的评介方法。 讨论针对文本数据的根据内容检索问题，集中讨论向量空间表示，以及文档中匹配查询的算法、隐含语义索引和文档分类。 介绍用于对个人偏好建模的自动推荐系统。 第9章 根据内容检索 本章目标 讨论图像检索算法中表示和检索问题。 介绍匹配时间序列和序列的基本概念。 9.1 简介 传统的数据库查询定义为：查询是一种返回精确匹配指定要求的记录集合(或表项集合)的操作。例如，查询“[level=MANAGER] AND [age30]”， 返回的结果是有具有重要职务的年轻雇员的列表。 但在数据分析时，所感兴趣的是更一般的但不很精确的查询。 例如，假设已知一个患者的人口统计学信息(比如年龄性别等等)、血液和其他常规检查的结果，以及生物医学方面的时间序列、X-光和图像。 为了辅助对这个患者进行诊断，医生希望了解医院数据库中是否包含类似的患者，如果有类似的患者，那么他们的诊断、治疗方法和最终结果如何？ 这个问题的难点在于如何根据不同的数据类型(多元变量、时间序列和图像数据)来判断各个患者间的相似性。这类问题采用精确匹配是行不通的，因为数据库中不可能存在各项指标完全匹配的患者。 因此，需要解决的是在数据库找出和指定查询或指定对象最相似的k个对象的各种技术问题。 可以把这种形式的检索看是交互式的数据挖掘，因为用户直接参与了探索数据集的过程—指定查询并解决匹配过程得到的结果。 如果数据集是根据内容批注的，那么检索问题就简化为标准的数据库索引问题，如果数据库没有被预先索引，我们仅有要寻找目标Q(查询模式)的一个实例，根据这个查询模式Q，我们要推论出数据集中哪些其他对象和它相近。 这种检索方法被称为根据内容检索(retrieval by content)，它的最著名应用是在文本中检索。在文本检索中，查询模式Q通常是很短的(查询词汇列表)，然后在很大的文档集合匹配这个模式。 这类问题由三个基本部分组成： 1.如何定义对象间的相似尺度； 2.如何实现高计算效率的搜索算法(对于给定的相似尺度)； 3.如何在检索过程中融入用户的反馈并进行交互。 本章主要讨论第一和第三个问题，第二个问题通常是一种索引问题(一个好的索引可以极大提高效率)。 在下面的分析中，我们使用“相似”这个词，又使用“距离”这个词。对应的是相似尺度最大化和距离尺度最小化，其他章节的相似度和相异度。 根据内容检索需要解决的几个问题： 1.如何客观地评估特定检索算法的性能。 2.如何决定用以计算相似尺度的表示。 例如，通常用颜色、纹理和