模式识别 第六章 层次聚类.pptVIP

****Part1Part2Part3*Part4Part2Part1Part3*Part4Part3Part1Part2*Part4Part4Part1Part2*Part3*Part3Part1Part2*Part3Part1Part2*模 式 识 别无监督学习–层次聚类引言层次聚类算法—聚集聚类算法—分裂聚类算法层次聚类的优缺点层次聚类应用场景目录引言层次聚类方法划分：自下而上的聚类方法（聚集聚类）自上而下的聚类方法（分裂聚类）引言层次聚类算法(聚集聚类)聚集聚类算法，采用自下而上的策略。最开始将每个样本各自分到一个类；之后将相距最近的两类合并，建立一个新的类，重复此操作直到满足停止条件；得到层次化的类别，绝大多数层次聚类方法属于这一类。聚集聚类算法步骤：（1）初始化，每个样本当做一个类。（2）计算任意两类距离，找出距离最近的两个类，合并这两类。（3）重复步骤（2）。直到满足停止条件，终止算法。常用的距离有闵可夫斯基距离，特别是欧式距离。合并规则一般是类间距离最小，类间距离也有多种定义。停止条件可以是类的个数达到阈值或类的直径超过阈值。层次聚类算法(聚集聚类)不同类间距离度量方式：a）最短距离b）最长距离c）平均距离d）中心距离层次聚类算法(聚集聚类)聚集聚类的算法流程：给定5个样本的集合，样本之间的欧式距离由如下矩阵表示：例题层次聚类算法(聚集聚类)聚集聚类过程如下图所示：层次聚类算法(分裂聚类)分裂聚类算法，采用自上而下的策略。最开始将所有样本分到一个类；之后将已有类中相距最远的样本分到两个新的类，重复此操作直到满足停止条件得到层次化的类别。分裂聚类算法步骤：（1）初始化，所有样本集中归为一个类。（2）计算每一个样本与其他样本之间的平均距离，找到平均距离最大的样本，把该样本分到一个新的类中。（3）计算原来类中剩余样本与其他样本的平均距离，以及剩余样本和新类样本的平均距离，进行比较，哪个距离短，分配到哪个类中。（4）选择直径最大的类重复步骤（2），（3）。直到满足停止条件，终止算法。和聚集算法一样，常用欧氏距离来度量。当存在两个或两个以上的类时，选择直径最大的类进行分裂。停止条件可以是类的个数达到阈值或类的直径不足阈值。层次聚类算法(分裂聚类)层次聚类算法(分裂聚类)分裂聚类过程如下图所示：层次聚类优缺点层次聚类算法优点：（1）易于解释：层次聚类生成一个树状图，展示了聚类合并的顺序。这个树状图提供了聚类之间关系的清晰可视化，使得结果易于解释。（2）不需预设聚类数量：与一些其他聚类方法（如K均值）不同，层次聚类无需预先指定聚类的数量。（3）捕捉嵌套聚类：层次聚类能够捕捉数据中的层次结构，识别嵌套的聚类。当数据自然形成层次结构时，这种特性非常有用。（4）对噪声的鲁棒性：层次聚类对噪声和离群值具有鲁棒性，因为它在形成聚类时考虑了整个数据集。特别是选择合适的距离度量和连接方法时，离群值对聚类过程的影响较小。层次聚类优缺点层次聚类算法缺点：（1）计算复杂度：层次聚类在计算上可能非常昂贵，尤其是对于大型数据集。层次聚类算法的时间复杂度通常为O(n2logn)或O(n3)，其中n是数据点的数量。（2）内存使用：除了计算复杂度之外，层次聚类算法在处理大型数据集时还会消耗大量内存。存储数据点之间的整个距离矩阵可能需要大量内存。（3）处理大型数据集的难度：由于计算复杂度和内存需求，层次聚类可能不适合大型数据集。在这种情况下，K-means或DBSCAN等替代聚类方法可能更为适用。（4）合并聚类的困难：一旦在层次聚类中形成了聚类，合并或拆分它们可能会很困难，尤其是如果使用了分裂方法时。这种缺乏灵活性可能在某些需要调整聚类的情况下成为限制。层次聚类应用场景层次聚类的应用：生物分类：根据基因或表型特征的相似性构建生物分类体系。它有助于理解进化关系和生物多样性。图像分割：层次聚类通过根据颜色、纹理或其他视觉特征将相似的像素或区域分组来分割图像。它在医学成像、遥感和计算机视觉中有广泛应用。客户细分：企业使用层次聚类根据客户的购买行为、人口统计数据或偏好将客户分组。这有助于精准营销、个性化推荐和客户关系管理。社交网络分析：层次聚类通过根据用户的互动、兴趣或归属关系聚类用户，帮助发现社交网络中的社区结构或层次关系。它有助于理解网络动态并识别有影响力的用户。层次聚类应用场景层次聚类的应用：下表统计了批发分销商的客户在不同产品类别上的年度支