聚类方法第十一章.pptVIP

第1页，共38页，星期日，2025年，2月5日划分聚类一、按最邻近规则的简单试探法给N个待分类的模式样本，要求按距离阈值T分类到聚类中心算法过程：Step1：取任意的样本xi作为一聚类中的初始值，如令z1=x1，计算若D21＞T，确定一新的聚类中心z2=x2否则x2∈以z1为中心的聚类；第2页，共38页，星期日，2025年，2月5日Step2：假如已有聚类中心z1和z2，计算若D31＞T和D32＞T，则确定一新的聚类中心z3=x3；Stepi：………第3页，共38页，星期日，2025年，2月5日讨论这种方法的优点：计算简单，若模式样本的集合分布的先验知识已知，则可获得较好的聚类结果。在实际中，对于高维模式样本很难获得准确的先验知识，因此只能选用不同的阈值和起始点来试探，并对结果进行验证。这种方法在很大程度上依赖于以下因素：第一个聚类中心的位置（初始化问题）待分类模式样本排列次序（聚类样本的选择问题）距离阈值T的大小（判决准则问题）样本分布的几何性质（样本的固有特性问题）第4页，共38页，星期日，2025年，2月5日层次聚类系统聚类：先把每个样本作为一类，然后根据它们间的相似性或相邻性聚合，类别由多到少，直到获得合适的分类要求为止；相似性、相邻性用距离表示。聚合的关键就是每次迭代中形成的聚类之间以及它们和样本之间距离的计算，不同的距离函数会得到不同结果。两类间距离计算准则：1.最短距离：两类中相距最近的两样本间的距离第5页，共38页，星期日，2025年，2月5日2.最长距离：两类中相距最远的两个样本间的距离。3.类平均距离：两类中各个元素两两之间的距离平方相加后取平均值4.类中心距离第6页，共38页，星期日，2025年，2月5日算法过程描述：

Step1：初始距离矩阵的计算D(0)说明：（1）距离矩阵元素的值是类与类之间的距离，距离的定义有多种。（2）距离矩阵，是对称矩阵。对角线上的元值表示同类之间的距离，即为0。Step2：对于第n次迭代的距离矩阵D(n)进行聚合说明：距离矩阵中选择距离最小的，如果有相同的可以任选其中一个，要忽略对角线上的元素。第7页，共38页，星期日，2025年，2月5日Step3：根据第n次聚合结果，计算合并后的新类别之间的距离矩阵D(n+1)说明：合并类的距离计算应该符合距离的运算规则。如，距离反映的是两类的重心距离，那么合并后，应该仍然反映的重心的距离。Step4：收敛性判决说明：算法的收敛条件判断准则的确定。第8页，共38页，星期日，2025年，2月5日例1：如下图所示（简单的一维情况）1、设全部样本分为6类，2、计算距离矩阵D(0)第9页，共38页，星期日，2025年，2月5日Ω1Ω2Ω3Ω4Ω5Ω6Ω10Ω290Ω31160Ω44916640Ω52543640Ω6642581190第10页，共38页，星期日，2025年，2月5日3、求最小元素：4、把Ω1,Ω3合并Ω7=(1,3)Ω4,Ω6合并Ω8=(4,6)5、作距离矩阵D(1)，按最小距离准则Ω7Ω2Ω8Ω5Ω70Ω290Ω849160Ω525440第11页，共38页，星期日，2025年，2月5日6、若合并的类数没有达到要求，转3。否则停止。3、求最小元素：4、Ω8,Ω5,Ω2合并,Ω9=（2,5,4,6）第12页，共38页，星期日，2025年，2月5日分解聚类分解聚类：把全部样本作为一类，然后根据相似性、相邻性分解。目标函数：两类中心的距离N：总样本数，：ω1类样本数：ω2类样本数，第13页，共38页，星期日，2025年，2月5日分解聚类框图初始分类调整分类方案最终结果目标函数达到最优先？第14页，共38页，星期日，2025年，2月5日例2：已知21个样本，每个样本取二个特征，如下表：样本号12345678910x10022445667x265534312101112131415161718192021-4-2-3-3-5100-1-1-3322021-1-2-1-3-5第15页，共38页，星期日，2025年，2月5日∴目标函数∴