周志华版《机器学习》第九章 知识点笔记.pdfVIP

周志华版《机器学习》第九章知识点笔记

Clustering——

核心主题：聚类（）无监督学习的核心任务，通过数据内在结构将样本划分为

若干“簇”，使簇内样本相似度高、簇间样本相似度低。

一、聚类的基础概念

1.1聚类的定义与本质

•定义：给定无标记样本集D\{\boldsymbol{x}_1,\boldsymbol{x}_2,...,\boldsymbol{x}_m\}，

/Dk\{C_1,C_2,...,C_k\}

通过某种相似度距离度量，将划分为个非空子集（簇），满

足：

a.全域覆盖：\bigcup_{i1}^kC_iD（所有样本归属于某一簇）；

b.互斥性：\foralli\neqj,C_i\capC_j\emptyset（样本不重复归属）。

•本质：挖掘数据的自然分组，无需人工标注，依赖数据自身的分布特征。“”

1.2聚类与分类的核心区别

维度分类（监督学习）聚类（无监督学习）

样本标记有标记（已知类别标签）无标记（未知类别标签）

目标学习“样本→标签”的映射挖掘样本的内在结构与分

关系组

结果验证可通过测试集标签验证准需通过聚类性能度量间接

确率评估

1.3关键前提：相似度/距离度量

聚类的核心是样本间相似性判断，常用度量方法（适用于数值型特征）：“”

1.闵可夫斯基距离（MinkowskiDistance）：

dist_{mk}(\boldsymbol{x}_i,\boldsymbol{x}_j)\left(\sum_{u1}^d|x_{iu}-x_{ju}|^p

\right)^{\frac{1}{p}}

◦当p1时：曼哈顿距离（ManhattanDistance），适用于高维稀疏数据；

◦当p2时：欧氏距离（EuclideanDistance），适用于低维稠密数据（最常用）；

◦当p\infty时：切比雪夫距离（ChebyshevDistance），反映样本在某一维度的最大

差异。

1.余弦相似度（CosineSimilarity）：

衡量样本向量的夹角余弦，侧重“方向相似性”（无关幅值），适用于文本、图像等高维数据：

sim_{cos}(\boldsymbol{x}_i,\boldsymbol{x}_j)\frac{\boldsymbol{x}_i\cdot

\boldsymbol{x}_j}{||\boldsymbol{x}_i||\cdot||\boldsymbol{x}_j||}

2.注意：非数值型特征（如离散值、文本）需先通过编码（如独热编码、TF-IDF）转换为数

值向量，再计算距离。

二、聚类性能度量

用于评估聚类结果的“好坏”，分为外部指标（有参考标签时）和内部指标（无参考标签时）。

2.1外部指标（有真实类别标签）

假设真实类别划分C^*\{C_1^*,C_2^*,...,C_k^*\}，聚类结果C\{C_1,C_2,...,C_k\}，定义

4个基础统计量：

•a：同属真实同一类且同属聚类同一簇的样本对数量；

•b：同属真实同一类但分属聚类不同簇的样本对数量；

•c：分属真实不同类但同属聚类同一簇的样本对数量；

•d：分属真实不同类且分属聚类不同簇的样本对数量；

总样本对数量：m(m-1)/2a+b+c+d。

常用外部指标：

1.兰德指数（RI,RandIndex）：

衡量聚类结果与真实划分的“一致程度”，取值范围[0,1]，越接近1越好：

RI\frac{a+d}{a+b+c+d}

◦ARI,AdjustedRandIndex