数据挖掘课件-人大第9章根据内容检索幻灯片.ppt

IDF权偏向于仅在很少文档中出现的词条，也就是说它是有判别力的。采用对数形式是使这个权对文档总数N不特别敏感。 TF-IDF权就是特定词条在特定文档中的TF权和IDF权的乘积。表9-2中的文档矩阵所产生的IDF权是：(0.105,0.693,0.511,0.693,0.357,0.693)。由此可得TF-IDF文档-词条矩阵(即把表9-2中的TF权乘以对应的IDF权)，如表9-3所示。 在文档中匹配查询的经典方法是： ●把查询表示为词条向量，1表示词条出现在查询中，0表示不出现； ●利用向量分量的TF-IDF权把文档表示为词条向量； ●使用余弦距离尺度按照文档到查询的距离来排列文档。 表9-4显示了一个简单查询实例，比较了TF和TF-IDF方法。 上表中查询包含的词条是“数据库”和“索引”，即Q=(1,0,1,0,0,0)；使用表9-2矩阵；采用余弦距离。如果使用TF矩阵，文档d5是最相近的；使用TF-IDF权，d2是最相近的。 第9章 根据内容检索 本章目标 介绍根据内容检索的基本概念。 介绍检索系统的评介方法。 讨论针对文本数据的根据内容检索问题，集中讨论向量空间表示，以及文档中匹配查询的算法、隐含语义索引和文档分类。 介绍用于对个人偏好建模的自动推荐系统。 第9章 根据内容检索 本章目标 讨论图像检索算法中表示和检索问题。 介绍匹配时间序列和序列的基本概念。 9.1 简介 传统的数据库查询定义为：查询是一种返回精确匹配指定要求的记录集合(或表项集合)的操作。例如，查询“[level=MANAGER] AND [age30]”， 返回的结果是有具有重要职务的年轻雇员的列表。 但在数据分析时，所感兴趣的是更一般的但不很精确的查询。 例如，假设已知一个患者的人口统计学信息(比如年龄性别等等)、血液和其他常规检查的结果，以及生物医学方面的时间序列、X-光和图像。 为了辅助对这个患者进行诊断，医生希望了解医院数据库中是否包含类似的患者，如果有类似的患者，那么他们的诊断、治疗方法和最终结果如何？ 这个问题的难点在于如何根据不同的数据类型(多元变量、时间序列和图像数据)来判断各个患者间的相似性。这类问题采用精确匹配是行不通的，因为数据库中不可能存在各项指标完全匹配的患者。 因此，需要解决的是在数据库找出和指定查询或指定对象最相似的k个对象的各种技术问题。 可以把这种形式的检索看是交互式的数据挖掘，因为用户直接参与了探索数据集的过程—指定查询并解决匹配过程得到的结果。 如果数据集是根据内容批注的，那么检索问题就简化为标准的数据库索引问题，如果数据库没有被预先索引，我们仅有要寻找目标Q(查询模式)的一个实例，根据这个查询模式Q，我们要推论出数据集中哪些其他对象和它相近。 这种检索方法被称为根据内容检索(retrieval by content)，它的最著名应用是在文本中检索。在文本检索中，查询模式Q通常是很短的(查询词汇列表)，然后在很大的文档集合匹配这个模式。 这类问题由三个基本部分组成： 1.如何定义对象间的相似尺度； 2.如何实现高计算效率的搜索算法(对于给定的相似尺度)； 3.如何在检索过程中融入用户的反馈并进行交互。 本章主要讨论第一和第三个问题，第二个问题通常是一种索引问题(一个好的索引可以极大提高效率)。 在下面的分析中，我们使用“相似”这个词，又使用“距离”这个词。对应的是相似尺度最大化和距离尺度最小化，其他章节的相似度和相异度。 根据内容检索需要解决的几个问题： 1.如何客观地评估特定检索算法的性能。 2.如何决定用以计算相似尺度的表示。 例如，通常用颜色、纹理和相似特征来地、表示图像；用单词的出现次数来表示文本。 9.2 检索系统的评价 一、评价检索性能的困难之处 在分类和回归中，总能以一种客观的方式来评判模型的性能。然而，对于根据内容检索来说，评价一个特定算法或技术的性能要复杂和棘手的多。 主要的难点是检索系统的最终性能尺度是由检索出的信息对用户的实用性来决定的。检索是一种以人为中心的交互过程，这给评价检索性能带来了很大困难。 首先我们假定相对一个特定的查询，可以把对象标记为相关或不相关。换句话来说，对于任一个查询Q，我们假定存在一个二值分类标签的集合，该集合对应数据中的所有对象，指出哪个对象是相关的，哪个是不相关的。最后我们假定已经以某种方式为每个对象附加标签(假定是以一种比较客观并与人类判相一致的方式)。 基于这些假定，就可以把检索问题看作一种特殊形式的分类问题—类标签依赖于查询Q， 也就是，“对于查询Q相关还是不相关”，然后相对Q来估计数据库中对象的类标签。 检索分类的特点： 1.分类变量的定义是由用户掌握的(用户定义查询Q)，因此每次运行系统时都可能变化。 2.主要目标不是分类出数据库的所有对象，而是返回