第二章聚类分析详解.ppt

特征选取不同对聚类结果的影响 特征选取不同对聚类结果的影响 距离测度不同,聚类结果也不同 综上可见: 讨论（续） 距离阈值T对聚类结果的影响 6、若合并的类数没有达到要求，转3。否则停止。 3、求最小元素： 4、ω8,ω5,ω2合并, ω9=（2,5,4,6） 例2.4.3：已知有20个样本，每个样本有2个特征，数据分布如下图,使用C－均值法实现样本分类（C=2）。 第三步：更新聚类中心 第四步： 第二步： 第三步：更新聚类中心 From Sergios Theodoridis K. Koutroumbas, Pattern Recognition, Academic press, 1999 pp352 Figure 11.1 From Sergios Theodoridis K. Koutroumbas, Pattern Recognition, Academic press, 1999 pp352 Figure 11.1 From Sergios Theodoridis K. Koutroumbas, Pattern Recognition, Academic press, 1999 pp352 Figure 11.1 From Sergios Theodoridis K. Koutroumbas, Pattern Recognition, Academic press, 1999 pp352 Figure 11.1 例2.4.3：如下图所示 1、设全部样本分为6类， 2、作距离矩阵D(0) 3、求最小元素： 4、把ω1,ω3合并ω7=(1,3) ω4,ω6合并ω8=(4,6) 5、作距离矩阵D(1) 3 1 9 5 8 ω6 2 6 2 5 ω5 8 4 7 ω4 4 1 ω3 3 ω2 ω5 ω4 ω3 ω2 ω1 D(0) 例2.4.3：如下图所示 1、设全部样本分为6类， 2、作距离矩阵D(0) 3、求最小元素： 4、把ω1,ω3合并ω7=(1,3) ω4,ω6合并ω8=(4,6) 5、作距离矩阵D(1) D(1) 2 2 5 ω5 4 7 ω8 3 ω2 ω8 ω2 ω7 2·4 聚类的算法 最大距离和层次聚类算法的一个共同特点是某个模式一旦划分到某一类之后，在后继的算法过程中就不改变了，而简单聚类算法中类心一旦选定后在后继算法过程中也不再改变了。因此，这些方法效果一般不会太理想。 2. 确定评估聚类质量的准则函数。 确定模式和聚类的距离测度。当采用欧氏距离时，是计算此模式和该类中心的欧氏距离；为能反映出类的模式分布结构，应采用马氏距离，设该类的均矢为 ，协方差阵为 ，则模式 和该类的 与该类均矢 的马氏距离： 距离平方为 3. 确定模式分划及聚类合并或分裂的规则。 2·4 聚类的算法——动态聚类算法要点 2·4 聚类的算法——动态聚类的基本步骤 建立初始聚类中心，进行初始聚类； 计算模式和类的距离，调整模式的类别； 计算各聚类的参数，删除、合并或分裂一些聚类； 从初始聚类开始，运用迭代算法动态地改变模式的类别和聚类的中心使准则函数取得极值或设定的参数达到设计要求时停止。 2·4 聚类的算法——动态聚类的框图 产生初始聚类中心 聚类 检验聚类合理性 待分类模式 分类结果 合理 再迭代/修改参数 不合理 如何判断不合理？ ⒈ 条件及约定 设待分类的模式特征矢量集为： 类的数目C是事先取定的。 2·4 聚类的算法 2.4.3 动态聚类法——C-均值法 ⒉ 算法思想 该方法取定 C个类别和选取 C个初始聚类中心，按最小距离原则将各模式分配到 C类中的某一类，之后不断地计算类心和调整各模式的类别，最终使各模式到其判属类别中心的距离平方之和最小。 第一步：令C=2，选初始聚类中心为 6 6 2 2 2 1 1 1 0 0 特征x2 7 6 3 2 1 2 1 0 1 0 特征x1 x10 x9 x8 x7 x6 x5 x4 x3 x2 x1 样本序号 9 9 8 8 8 7 7 7 7 6 9 8 9 8 7 9 8 7 6 8 x20 x19 x18 x17 x16 x15 x14 x13 x12 x11 0 0 第二步： 0 0 0 ＝ ） ）－（ （ ＝ - 1 0 1 0 0 ＝ ） ）－（ （ ＝ - 1 0 0 0 1 ＝ ） ）－（ （ ＝ - 所以 因为 ? - - 0 ) 0 1 ( ) 0 1 ( = - = - , ? - - 所以 因为 同理 , 1 2 , 2 1 ? \ = - - ? \ = - - ＝ ＝ ... ... 20 6 5 20 6 5 都属于 、 、 离计算出来，判断 与第二个聚类中