模式识别第讲.pptVIP

第1页，共34页，星期日，2025年，2月5日第3次课程概要模式判别PCA特征评价维数比率问题第2页，共34页，星期日，2025年，2月5日PCAPrincipalcomponentanalysis主元分析或主成分分析功能：简化复杂数据到低维空间，从而发现数据中隐藏的简单结构。原始数据源（生数据）通常有冗余，包含噪声PCA的目标：去除冗余，并发现重要特征PCA特征评价维数比率问题第3页，共34页，星期日，2025年，2月5日PCA的大致思路认为原始数据X是复杂的（有噪声有冗余），要对X重新表示重新表示后数据的维度即为隐藏于X中的简单结构PCA特征评价维数比率问题第4页，共34页，星期日，2025年，2月5日PCA怎么做？技术路线利用线性代数为工具，用另一组基去重新描述数据空间新的基能够最好地表示原数据X原有的基是什么样的形式呢？Na?vebasis：目标：找到另一组基，能最好表达数据集，这个新的基是原有基的线性组合PCA特征评价维数比率问题采用该方法就隐含了一个假设：线性。数据限制在一个向量空间里，能被一组基表示第5页，共34页，星期日，2025年，2月5日基变换n个样本每个样本m个特征构成m×n的矩阵XP是从X到Y的转换矩阵几何上，Y由对X旋转拉伸得到P的行向量构成一组新的基，而Y是在这组基下对X的重新表示PCA特征评价维数比率问题第6页，共34页，星期日，2025年，2月5日在线性的假设条件下，要解答要寻求一组变换后的基，也就是P的行向量{p1,…pm}这组基就是X的主元要解答的问题1我们要将X转换成为的Y是个什么样子？2对应于Y，如何求解P？PCA特征评价维数比率问题第7页，共34页，星期日，2025年，2月5日我们要将X转换成为的Y是个什么样子？回顾一下PCA要解决的问题，数据复杂混乱

噪声冗余PCA特征评价维数比率问题第8页，共34页，星期日，2025年，2月5日重要特征和噪声的数学描述信噪比要使得信噪比大，信号的方差大，噪声的方差小假设：变化较大的信息认为是信号，变化较小的则是噪声PCA特征评价维数比率问题第9页，共34页，星期日，2025年，2月5日冗余的数学描述该变量可以用其它变量表示，因此造成了信息冗余PCA特征评价维数比率问题协方差矩阵可以反映数据的噪声和冗余的程度第10页，共34页，星期日，2025年，2月5日PCA的目标及它基于的假设PCA特征评价维数比率问题通过基变换，对协方差矩阵进行优化，即使得变换后的数据集Y，其协方差矩阵为对角阵。线性假设：PCA内部模型是线性的，是基于原始特征的线性变换。（如果原始数据存在非线性属性，则经PCA分析后将不再反映这种非线性属性）方差越大，特征越重要。（有些对整体方差贡献不大的主成分，有可能在样本分类方面起至关重要的作用）冗余用相关性表示。（数据的概率分布需要满足高斯分布或是指数型的概率分布)主元正交，即转换基是一组标准正交基。该假设的作用是方便求解第11页，共34页，星期日，2025年，2月5日PCA求解：特征根分解（1）PCA特征评价维数比率问题寻找一组正交基组成的矩阵P，有Y=PX，使得CY是对角阵，则P的行向量，就是数据X的主元向量。D是一个对角阵E是对称阵A的特征根排成的矩阵解题技巧，令P≡ET第12页，共34页，星期日，2025年，2月5日PCA求解：特征根分解（2）PCA特征评价维数比率问题第13页，共34页，星期日，2025年，2月5日PCA算法的一般求解步骤由以上推导，PCA算法的一般求解步骤如下1采集数据，形成m×n的矩阵，m为特征个数，n为样本数。2矩阵中的每个元素减去该维的均值，得到X3求XX‘的特征根PCA特征评价维数比率问题第14页，共34页，星期日，2025年，2月5日将PCA用于降维由PCA线性变换后得到的数据集，可认为是没有冗余的。在此结构下，可以讨论样本中的哪些属性（特征）比较重要。按方差由大到小排序，但丢弃的准则是什么？PCA特征评价维数比率问题方法一：Kaiser准则丢弃那些低于1的特征值方法二：观察特征值的图，通过斜率检测，即从图中曲线开始变平缓的点开始，丢弃后面的全部特征值。第15页，共34页，星期日，2025年，2月5日有关PCA需要注意的一个问题原始数据集里，每个特征是有意义的。比如图像中一个对象的形状、颜色等。但是线性变换后，语义信息丢失了。这对我们解释识别过程带来一定的问题。PCA特征评价维数比率问题