第七章_聚类分析研讨.ppt

* * * * * * * * * * * * * * * * * * * * * * * * Data Mining: Concepts and Techniques * 自组织特征映射 (SOM) SOMs, 也称之为拓扑有序映射或Kohonen自组织特征映射(KSOMs) 目标是用低维（通常是2维到3维）目标空间的点来表示高维源空间中的所有点，尽可能的保持点见得距离和邻近关系 类似于k均值算法:簇的中心往往处于特征或属性空间的一个低维流形中 聚类通过若干单元竞争当前对象来进行 权重向量最接近当前对象的单元成为赢家或活跃点 调整获胜单元及其最近邻的权重 SOM被认为类似于大脑的处理过程 对用2维或3维的方式观察高维数据时很有效的 * Data Mining: Concepts and Techniques * 使用SOM聚类的web文档 用SOM算法对12088篇web、文章聚类的结果 右边的图片：对关键词“mining”进行下钻的结果 * Data Mining: Concepts and Techniques * 第七章 聚类分析 什么是聚类分析？ 聚类分析中的数据类型 聚类分析的主要方法分类 划分方法 层次方法 基于密度的方法 基于网格的方法 基于模型的方法 聚类高维数据 基于约束的聚类分析 离群点分析 小结 * Data Mining: Concepts and Techniques * 聚类高维数据 聚类高维数据 应用：文本文档，DNA微序列数据 主要挑战: 很多不相关的维可能屏蔽真实的簇 距离度量变得无意义了——数据特别稀疏时位于不同维的数据点可以认为是等距的 簇可能仅存在于某些子空间内 方法 特征变换:仅适用于大部分维都是相关的情况下 如：PCA（主成分分析） 和 SVD（支撑向量机）仅适用于特征是高度相关的/冗余的 特征选择: wrapper or filter approaches useful to find a subspace where the data have nice clusters 子空间聚类： 在所有可能的子空间中寻找簇 CLIQUE, ProClus, 基于频繁模式的聚类 * Data Mining: Concepts and Techniques * 维灾难 (graphs adapted from Parsons et al. KDD Explorations 2004) 一维的数据通常是在一个相关的区域内的 增加一个维，是数据点沿这个维延伸，则会使数据变得分离 增加更多的维，会使得数据点之间更加分离，高维数据是极端稀疏的 数据度量变得没有意义了—当数据特别稀疏时我们可以认为位于不同维的数据点是距离相等的 * Data Mining: Concepts and Techniques * 为什么要对子空间聚类?(adapted from Parsons et al. SIGKDD Explorations 2004) 簇可能仅仅是存在于某个子空间中 子空间聚类:找出所有可能的子空间内的簇 * Data Mining: Concepts and Techniques * CLIQUE (维增长子空间聚类方法) Agrawal, Gehrke, Gunopulos, Raghavan (SIGMOD’98) 自动的将高维数据空间划分成子空间以便更好的聚类 CLIQUE可以看做是基于密度的也可以看做是基于网格的 他将每一维划分成相同数目的等距的区域 将一个m维的数据空间划分成互不重叠的矩形单元 如果一个单元中包含的数据点的个数超过了输入的参数则这个单元为稠密单元 同一子空间中彼此相连的稠密单元构成的最大集合为一个簇 * Data Mining: Concepts and Techniques * CLIQUE: 主要步骤 将数据空间划分，并找到每个划分单元中的数据点的个数. 找出含有簇的子空间，使用Apriori规则剪枝 确定簇 找出所有相关子空间中的稠密单元 找出相关子空间中的所有相连的稠密单元. 生成簇的最小覆盖（逻辑描述） 为每个簇确定覆盖所有相连的稠密单元的最大区域 为每个簇确定一个最小覆盖 * Data Mining: Concepts and Techniques * Salary (10,000) 20 30 40 50 60 age 5 4 3 1 2 6 7 0 20 30 40 50 60 age 5 4 3 1 2 6 7 0 Vacation(week) age Vacation Salary 30 50 ? = 3 * Data Mining: Concepts and Techniques * CLIQUE的优缺点 优点 自动的找出高维数据的簇存