矩阵分析及应用试卷.docVIP

矩阵分析与应用试卷 1. 简述K-均值算法 2. 简述最小平方误差算法 3. 简述正态分布的最小错误率贝叶斯决策规则 4. 简述贝叶斯估计与贝叶斯学习 5. 简述K-L变换的多类模式特征提取 1. K-means算法是硬聚类算法，是典型的局域原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最有分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。 ≠ j, i = 1,2,···，m, 如果∥X-Zj(k)∥﹤∥X-Zi(k)∥，则X∈Sj(k)其中Sj(k)是以Zi(k)为中心的类。 第三步：由第二步得到Sj(k)类新的中心 Zj(k),Zj(k)= 式中，Nj为Sj(k)类中的样本数。Zj(k+1)是按照使J最小的原则确定的，J的表达式为： J= 第四步：对于所有的i=1,2···，m，如果Zi(k+1)=Zi(k),则迭代结束，否则转到第二步继续迭代。 这种算法的结果受到所选聚类中心的数目和其初始位置以及模式分布的几何性质和读入次序等因素的影响，并且在迭代过程中又没有调整类数的措施，因此可能产生不同的初始分类得到不同的结果，这是这种方法的缺点。可以通过其他的简单的聚类中心试探方法，如最大距离法，找出初始中心，提高分类效果。 2. 最小平方误差算法(以下简称MSE)，是对准则函数引进最小均方误差这一条件而建立起来的，这种算法的主要特点是在训练过程中判定训练集是否线性可分，从而对结果的收敛性做出判断。 我们把不等式组变为如下形式： =0 为给定的任意的正常数。将上式联立方程组可以得到： 其中Y=[……]T，为N*d的矩阵，为规范化增广样本向量。 通常样本数N大于样本维度d，故Y为长方形阵且一般列满秩。实际上这是方程个数多余未知数的情况，一般为矛盾方程组无精确解。因此定义误差向量： 并且定义误差准则函数 然后寻找一个使得固定值Js(a)极小化的a作为问题的解。这就是矛盾方程组的最小二乘近似解，也就是所谓的伪逆解或者是MSE解。使用解析法求出伪逆解。 首先对求梯度： 令得a*=(YTY)-1YTb，这就是式子Ya=b的MSE解。可以看出，有唯一的极小值0，发生在Ya=b时。准则函数的值等于和误差的平方之和，此时，我们的目标是使这个误差的平方和最小，因此称这一准则导出的算法为最小均方误差算法。 我们可以发现，当b=[N/N1,N/N1,N/N1……N/N2,N/N2……]T(N/N1有N1个，N/N2有N2个，N=N1+N2)，MSE解a*等价于Fisher解。 同样，当样本N趋于无穷的时候，如果令b=uN,其中uN中元素均是1，则它以最小均方误差逼近贝叶斯判别函数。