第十讲聚类解答.ppt

  1. 1、本文档共115页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Data Mining: Concepts and Techniques 第十讲 聚类分析 聚类分析 什么是聚类分析? 聚类分析中的数据类型 主要聚类方法的分类 划分方法 层次方法 基于密度的方法 基于网格的方法(自学) 基于模型的方法(自学) 高维数据聚类 (自学) 基于约束的聚类 (自学) 离群点分析(自学) 小结 什么是聚类分析? 簇(cluster): 数据对象的集合 同一簇中对象相似 不同簇中对象相异 聚类(clustering):将物理或抽象对象的集合分成相似的对象类的过程 聚类分析 在数据中按照数据的特征找出相似处,将相似的数据对象分组到一个聚类 无指导学习(Unsupervised learning):没有预定义的类 典型应用 作为一个独立的工具,用于观察数据的分布 作为其他算法的预处理步骤 聚类:多学科、广泛的应用 模式识别(Pattern Recognition) 空间数据分析(Spatial Data Analysis) 在GIS中,通过聚类特征空间,创建主题地图 检测空间聚类或其他空间挖掘任务 图象处理 经济科学(特别是市场研究) WWW 文档分类 聚类Weblog 数据,发现类似的存取模式组 Examples of Clustering Applications 市场:帮助市场分析员发现顾客的不同类别,并使用这些知识开发目标市场程序。 国土利用:帮助识别地球观测数据库中国土利用相似的区域。 保险: 赔付较高保险金额的保险持有者 城市计划:根据房子的类型、价值和地理位置对城市中房屋的分组识别 Quality: What Is Good Clustering? 好的聚类方法:高内聚、低耦合 聚类结果的质量依赖于方法和实现中使用的相似度度量。 聚类方法的质量还可以由它所发现一些或全部隐藏模式的能力所衡量 Measure the Quality of Clustering 相异度/相似度矩阵:相似度表现为距离函数,矩阵 d(i, j) 对于不同的数据类型,距离函数(distance functions)的定义可能有很大的差别: 区间标量变量、二元 变量、分类变量、序数变量和向量变量 权重的设置与应用中的不同变量有关。 很难定义怎样是“足够相似”或是“足够好”,因为其答案是相当主观的。 Requirements of Clustering in Data Mining 可伸缩的 处理不同类型属性的能力 处理动态数据的能力 处理任意形状的聚类 输入参数的确定需要尽量少的领域知识 处理带噪声数据的能力 对数据数据的顺序不敏感 高维性 满足用户指定的约束 可解释性和可用性 聚类分析 什么是聚类分析? 聚类分析中的数据类型 主要聚类方法的分类 划分方法 层次方法 基于密度的方法 基于网格的方法 基于模型的方法 高维数据聚类 基于约束的聚类 离群点分析 小结 Data Structures 数据矩阵 N个对象,p个变量 (双模) 相异度矩阵 d(i,j):对象i和j间的 相异度 (单模) Type of data in clustering analysis Interval-scaled variables(区间标度变量) Binary Variables (二元变量) Nominal, ordinal, and ratio variables(分类、序数和比例调度变量) 混合类型变量 区间标度变量 区间标度变量:粗略线性标度的连续度量。如重量、经纬度、气温等 数据标准化?单位不同对聚类结果影响大 计算均值绝对偏差( mean absolute deviation) 其中 计算标准度量值( standardized measurement) (z-score) 使用均值绝对偏差比标准差对于离群点有更好的鲁棒性。 对象间的相似度或相异度 距离:通常用于衡量两个对象之间的相似度或相异度 闵可夫斯基距离(Minkowski distance): 其中, i = (xi1, xi2, …, xip) 和 j = (xj1, xj2, …, xjp) 是p维对象, q是非负整数 如果 q = 1, d 是曼哈顿距离(Manhattan distance) q = 2时, d 是欧几里德距离(Euclidean distance) 特征 d(i,j) ? 0 d(i,i) = 0 d(i,j) = d(j,i) d(i,j) ? d(i,k) + d(k,j) (三角不等式) 可对某些变量根据重要性赋予权重 二元变量 二元变量只有两个状态:0 or 1 二元变量的相依表 对称二元变量(两个状态具有同等价值和相同的权值)的距离度量 : 非对称二元变量的距离度量: (通常将出现几率较小的结果编

文档评论(0)

a336661148 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档