agnes算法4-5.pptVIP

层次聚类 AGNES算法 * 层次聚类 * 凝聚的层次聚类：一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，逐步合并，直到某个终结条件被满足。 层次凝聚的代表是AGNES算法 * 层次聚类 * AGNES(Agglomerative NESting)算法最初将每个对象作为一个簇，然后这些簇根据某些准则被一步步地合并，使用单链接方法。 两个簇间的相似度由这两个不同簇中距离最近的数据点对的相似度来确定。此外当两个簇最近距离超过用户给定的阈值时聚类过程就会终止。 聚类的合并过程反复进行直到所有的对象最终满足簇数目。 例如，如果簇C1中的一个对象和簇C2中的一个对象之间的距离是所属不同簇的对象间欧式距离中最小的，则C1和C2可能被合并。 两个簇之间的相似度计算公式为：dist({m1,m2},{m3,m4})=min(dist(m1,m3),dist(m1,m4),dist(m2,m3),dist(m2,m4))。 * 层次聚类 * 最小距离 * 层次聚类 * 输入：n个对象，终止条件簇的数目k。 输出：k个簇，达到终止条件规定簇数目。 (1)将每个对象当成一个初始簇； (2)重复； (3)根据两个簇中最近的数据点找到最近的两个簇； (4)合并两个簇，生成新的簇的集合； (5)直到达到定义的簇的数目； * 层次聚类 * 序号 属性1 属性2 1 1 1 2 1 2 3 2 1 4 2 2 5 3 4 6 3 5 7 4 4 8 4 5 第1步：根据初始簇计算每个簇之间的距离，随机找出距离最小的两个簇，进行合并，最小距离为1，合并后1,2两个点合并为一个簇。 第2步：对上一次合并后的簇计算簇间距离，找出距离最近的两个簇进行合并，合并后3,4点成为一簇。 第3步：重复第2步的工作，5,6点成为一簇。 第4步：重复第2步的工作，7,8点成为一簇。 第5步：合并{1,2}，{3,4}成为一个包含四个点的簇。 第6步：合并{5,6}，{7,8}，由于合并后的簇的数目已经达到了用户输入的终止条件，程序终止。 步骤 最近的簇距离 最近的两个簇 合并后的新簇 1 1 {1}，{2} {1,2}，{3}，{4}，{5}，{6}，{7}，{8} 1 {3}，{4} {1,2}，{3,4}，{5}，{6}，{7}，{8} 1 {5}，{6} {1,2}，{3,4}，{5,6}，{7}，{8} 1 {7}，{8} {1,2}，{3,4}，{5,6}，{7,8} 1 {1,2},{3,4} {1,2,3,4}，{5,6}，{7,8} 1 {5,6}，{7,8} {1,2,3,4}，{5,6,7,8}结束 （1）简单，但遇到合并点选择困难的情况。 （2）一旦一组对象被合并，下一步的处理将在新生成的簇上进行，已做处理不能撤销，聚类之间也不能交换对象。 （3）算法的复杂度为O(n的平方)，不适合大数据集计算。 1.分裂的层次聚类：采用自顶向下的策略，它首先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到达到了某个终结条件。层次分裂的代表是DIANA算法。 2.BIRCH算法：聚类特征，聚类特征树 3.ROCK：近邻，链接数 4.Chameleon：相对互边度，相对接近度 DIANA（Divisive ANAlysis)算法是典型的分裂聚类方法。 在聚类中，用户能定义希望得到的簇数目作为一个结束条件。 * 层次聚类 * 算法 DIANA（自顶向下分裂算法） 输入：n个对象，终止条件簇的数目k。 输出：k