主成分分析和谱聚类 详义复习课程.pptVIP

而现实往往是： 我们不知道每个x属于哪个分布，也就是说z是我们观察不到的，z是隐藏变量(latent variable) 实际问题 为了将k个高斯分布用一个随机变量表示 可以采用1-of-K的表示法，例如k=3时： ?z1=1表示(1 0 0), 并p(z1=1)=π1, ?z2=1表示(0 1 0), 并p(z2=1)=π2, ?z3=1表示(0 0 1), 并p(z3=1)=π3 这里的粗体z表示的是形如(1 0 0)这样的向量 ? 隐藏变量Z ?将Z引入后 最终得到 隐藏变量与混合高斯分布? 在后面的讨论中我们约定P(x)和P(x|参数)是相同的。例如混合高斯分布中 P(x)=P(x|π,μ,Σ) 另外，对于观察集{X}中的各个观察值xi, 我们认为相互之间独立。特别的，如果x1，x5，x9来自于同一高斯分布，我们认为他们满足i.i.d.(独立同分布) 前面说过，在简化问题中我们观察到的是{X,Z}，因此根据以下两个式子 ? 可以得到 N是数据集X的大小 两个问题的比较 ?回忆我们的最终目标是：找一组合适的π,μ,Σ，满足数据集{X}的分布。 ?即：maximum log-likelihood ?对原始问题，我们要找π,μ,Σ，使下式最大 ? 对简化问题，同样要找π,μ,Σ，使下式最大 Znk表示Zn的第k个元素 后者的ln直接作用于正态分布，使正态分布由连乘的形式变为连加的形式 计算复杂度 为了最大化上式，由于Znk已知，我们可以把上式按观察到的(x,z)分为k组： ??????????????????????? 由于这k组分布相互独立，我们只需要分别最大化每一组Σ 简化问题的计算1 简化问题的计算2 至此我们已经解决了简化问题的参数求解。但是，实际上我们往往不知道Znk，即Z往往是隐藏变量。也就无法运用前面简化问题的算法 ?虽然不知道Znk，但是我们可以用它的期望E[Znk]去估计Znk 实际问题 ?根据前面提到的这两个公式，及贝叶斯公式 可以得到Z的后验概率 Znk的期望估计1 ? 代入简化问题中的 现在我们要使该式最大，也就是期望值最大(Expectation Maximum-EM ) Znk的期望估计2 4.3谱系聚类法（层次、系统聚类法） 条件及约定 设待分类的模式持征矢量集为{x1,x2,…,xN} ,Gi(k)表示第k次合并时的第i类。 基本思想 视N个模式各成为一类，计算类与类之间的距离，选择距离最小的一对合并成一个新类，计算在新的类别分划下各类之间的距离，再将距离最近的两类合并，直至所有模式聚成两类为止。 算法步骤 (1)初始分类。令k＝0，每个模式自成一类，即Gi(k)={xi}(i=1,2,…N) (2)计算各类间的距离Dij，由此生成一个对称的距离矩阵D(k)=(Dij)m*m，m为类的个数(初始时m＝N) (3)找出前一步求得的矩阵D(k)中的最小元素，设它是Gi(k)和Gj(k)间的距离，将其两类合并成一类，于是产生新的聚类G1(k+1) G2(k+1) …，令k=k+1,m=m-1 (4)检查类的个数：如果类数m大于2，转至(2)；否则，停止。 如果某一循环中具有最小类间距离不止一个类对，则对应这些最小距离的类对可以同时合并。上述算法步骤给出了从N类至2类的聚类过程。 改进： 可将类间距离门限T作为停止条件，当D (k)中最小阵元大于T时，聚类过程停止； 也可将预定的类别数目作为停止条件，在类别合并过程中，类数等于预定值时，聚类过程停止。 例 给出6个样本待征矢量如下，按最小距离原则进行聚类。 x1 ＝(0,3,1,2,0)’ x2=(1,3,0,1,0)’ x3=(3,3,0,0,1)’ x4＝(1,1,0,2,0)’ x5＝(3,2,l,2,1)’ x6＝(4,1,1,1,0)’ 解(1)初始时，每一样本自成一类 G1 (0) ＝{x1} G2 (0) ＝{x2} G3 (0) ＝{x3} G4 (0) ＝{x4} G5 (0) ＝{x5} G6 (0) ＝{x6} 按欧氏距离计算距离矩阵D(0)。 表1 D(0) (2) D(0)中最小阵元为 sqrt(3) ，它是G1 (0)与G2 (0)之间的距离，将它们合并为一类，得一新的分类为 G1 (1) ＝{ G1 (0)， G2 (0) }={x1， x2} G2 (1) =G3 (0) G3 (1) ＝ G4 (0)