非监督学习方法之聚类分析(ppt 55页)PPT学习课件.pptVIP

第一章非监督学习方法：聚类分析;§1.1基本概念;相似性与距离聚类

相似性：模式之间具有一定的相似性，这既表现在实物的显著特征上，也表现在经过抽象以后特征空间内的特征向量的分布状态上。

聚类分析定义：对一批没有标出类别的模式样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。;分类依据：一个样本的特征向量相当于特征空间中的一点，整个模式样本集合的特征向量可以看成特征空间的一些点，点之间的距离函数可以作为模式相似性的度量，并以此作为模式的分类依据。

聚类分析是按不同对象之间的差异，根据距离函数的规律进行模式分类的。

距离函数的定义

特征向量的特性

;聚类分析的有效性：聚类分析方法是否有效，与模式特征向量的分布形式有很大关系。

若向量点的分布是一群一群的，同一群样本密集（距离很近），不同群样本距离很远，则很容易聚类；

若样本集的向量分布聚成一团，不同群的样本混在一起，则很难分类；

对具体对象做聚类分析的关键是选取合适的特征。特征选取得好，向量分布容易区分，选取得不好，向量分布很难分开。;特征空间维数

特征信息的冗余性：在对象分析和特征提取中，往往会提取一些多余的特征，以期增加对象识别的信息量。

高维特征空间分析的复杂性：特征空间维数越高，聚类分析的复杂性就越高

高维特征空间降维

降维方法：

相关分析：特征向量的相关矩阵R，分析相关性

主成分分析：以正交变换为理论基础

独立成分分析：以独立性为基础;特征的表示

数值表示：对于实际问题，为了便于计算机分析和计算，特征必须进行量化。对不同的分析对象，量化方法是不一样的。

连续量的量化：用连续量来度量的特征，只需取其量化值，如长度、重量等。

分级量的量化：度量分析对象等级的量，用有序的离散数字进行量化，比如学生成绩的优，良，中，差可用1，2，3，4等量化表示。

定性量的量化：定性指标，没有数量关系，也没有次序要求。比如，性别特征：男和女，可用0和1来进行表示。;两类模式分类的实例

??分一摊黑白围棋子

选颜色作为特征进行分类，用“1”代表白，“0”代表黑，则很容易分类；

选大小作为特征进行分类，则白子和黑子的特征相同，不能分类。;§1.2相似性测度和聚类准则;计算出E(2),E(3),…

凭直观和经验，针对实际问题选择相似性测度并确定此相似性测度的阈值，然后选择一定的训练样本来检验测度和阈值的可靠程度，最后按最近邻规则指定某些模式样本属于某一个聚类类别。

Stepi：………

已知十个样本，每个样本2个特征，数据如下：

当坐标系旋转或者尺度变换，夹角余弦测度均保持不变（对位移和线性变换不成立）

注意：X和Z的量纲必须一致

K-均值算法比较适合于分类数目已知的情况。

基于此，聚类准则函数J，应是模式样本集{x}和模式类别{Sj,j=1,2,…,c}的函数，即

4、Ω8,Ω5,Ω2合并,ω9=（2,5,4,6）

聚类就是将样本进行组合分类以使类别可分性为最大，因此聚类准则应是反映类别间相似性（或可分性）的函数；

当采用马氏距离，就可以屏蔽这一点。

第二步：重新计算到z1(2),z2(2)的距离，把它们归为最近聚类中心，重新分为两类，

用K-均值算法分成3类。

当m＝1时，就是街坊（cityblock)距离：

第二步：重新计算到z1(2),z2(2)的距离，把它们归为最近聚类中心，重新分为两类，

①选一批代表点后，代表点就是聚类中心，计算其它样本到聚类中心的距离，把所有样本归于最近的聚类中心点，形成初始分类，再重新计算各聚类中心，称为成批处理法。

(2)算法的收敛性判别：前后两次迭代的结果，也就是每迭代分类后，分类都是一样的，此时停止。

已知十个样本，每个样本2个特征，数据如下：;其中分别是样本向量的第k个分量；当m＝2时，明氏距离就是欧氏距离；当m＝1时，就是街坊（cityblock)距离：

;角度相似性函数：表征了模式向量x和z之间夹角的余弦，反映了几何上的相似性，;二、聚类准则的确定;?聚类准则函数法

聚类就是将样本进行组合分类以使类别可分性为最大，因此聚类准则应是反映类别间相似性（或可分性）的函数；同时，类别又由一个个样本组成，因此类别的可分性与样本间的差异性直接相关。基于此，聚类准则函数J，应是模式样本集{x}和模式类别{Sj,j=1,2,…,c}的函数，即;J代表了分属于c个聚类类别的全部模式样本与其对应类别模式均值之间的误差平方和；

对于不同的聚类形式，J值是不同的，聚类的目的是：使J值达到极小；

由此可见：聚类分析转化为寻找准则