非监督学习方法之聚类分析.pptxVIP

第一章 非监督学习方法：聚类分析;§1.1 基本概念;相似性与距离聚类 相似性：模式之间具有一定的相似性，这既表现在实物的显著特征上，也表现在经过抽象以后特征空间内的特征向量的分布状态上。 聚类分析定义：对一批没有标出类别的模式样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。;分类依据：一个样本的特征向量相当于特征空间中的一点，整个模式样本集合的特征向量可以看成特征空间的一些点，点之间的距??函数可以作为模式相似性的度量，并以此作为模式的分类依据。 聚类分析是按不同对象之间的差异，根据距离函数的规律进行模式分类的。 距离函数的定义 特征向量的特性 ;聚类分析的有效性：聚类分析方法是否有效，与模式特征向量的分布形式有很大关系。 若向量点的分布是一群一群的，同一群样本密集（距离很近），不同群样本距离很远，则很容易聚类； 若样本集的向量分布聚成一团，不同群的样本混在一起，则很难分类； 对具体对象做聚类分析的关键是选取合适的特征。特征选取得好，向量分布容易区分，选取得不好，向量分布很难分开。;特征空间维数 特征信息的冗余性：在对象分析和特征提取中，往往会提取一些多余的特征，以期增加对象识别的信息量。 高维特征空间分析的复杂性：特征空间维数越高，聚类分析的复杂性就越高 高维特征空间降维 降维方法： 相关分析：特征向量的相关矩阵R，分析相关性 主成分分析：以正交变换为理论基础 独立成分分析：以独立性为基础;特征的表示 数值表示：对于实际问题，为了便于计算机分析和计算，特征必须进行量化。对不同的分析对象，量化方法是不一样的。 连续量的量化：用连续量来度量的特征，只需取其量化值，如长度、重量等。 分级量的量化：度量分析对象等级的量，用有序的离散数字进行量化，比如学生成绩的优，良，中，差可用1，2，3，4等量化表示。 定性量的量化：定性指标，没有数量关系，也没有次序要求。比如，性别特征：男和女，可用0和1来进行表示。;两类模式分类的实例 区分一摊黑白围棋子 选颜色作为特征进行分类，用“1”代表白，“0”代表黑，则很容易分类； 选大小作为特征进行分类，则白子和黑子的特征相同，不能分类。;§1.2 相似性测度和聚类准则 ;马氏距离：表征模式向量X与其均值向量m之间的距离平方，C是模式总体的协方差矩阵， 引入协方差矩阵，排除了样本之间的相关性。 欧式距离中，如果特征向量中某一分量的值非常大，那么就会掩盖值小的项所起到的作用，这是欧式距离的不足；当采用马氏距离，就可以屏蔽这一点。因为相关性强的一个分量，对应于协方差矩阵C中对角线上的那一项的值就会大一些。再将这一项取倒数，减小该影响。 当协方差为对角矩阵时，各特征分量相互独立；当协方差为单位矩阵时，马氏距离和欧氏距离相同。;其中 分别是样本向量的第k个分量；当m＝2时，明氏距离就是欧氏距离；当m＝1时，就是街坊（city block)距离： ;角度相似性函数：表征了模式向量x和z之间夹角的余弦，反映了几何上的相似性，;二、聚类准则的确定;?聚类准则函数法 聚类就是将样本进行组合分类以使类别可分性为最大，因此聚类准则应是反映类别间相似性（或可分性）的函数；同时，类别又由一个个样本组成，因此类别的可分性与样本间的差异性直接相关。基于此，聚类准则函数J，应是模式样本集{x}和模式类别{Sj, j=1,2,…,c}的函数，即;J代表了分属于c个聚类类别的全部模式样本与其对应类别模式均值之间的误差平方和； 对于不同的聚类形式， J值是不同的，聚类的目的是：使J值达到极小； 由此可见：聚类分析转化为寻找准则函数极值的最优化问题； 此种聚类方法通常称为最小方差划分，适用于各类样本密集且数目相差不多，而不同类间的样本又明显分开的情况（图例解释）—把握类内距离与类间距离的问题； 聚类准则函数有许多其他形式。;§1.3 基于试探的聚类搜索算法;Step 2：假如已有聚类中心z1和z2，计算 若D31＞T和D32＞T ，则确定一新的聚类中心z3=x3； Step i： ………;讨论 这种方法的优点：计算简单，若模式样本的集合分布的先验知识已知，则可获得较好的聚类结果。 在实际中，对于高维模式样本很难获得准确的先验知识，因此只能选用不同的阈值和起始点来试探，并对结果进行验证。 这种方法在很大程度上依赖于以下因素： 第一个聚类中心的位置（初始化问题） 待分类模式样本排列次序（聚类样本的选择问题） 距离阈值T的大小（判决准则问题） 样本分布的几何性质（样本的固有特性问题）;最大最小距离算法 基本思想：根据实际问题选择距离函数，以试探类间距离为最大作为预选出聚类中心的条件。核心就是：就是最大类间距离，最小类内