一种新的概率非线性主成分分析模型的探讨.pdfVIP

一种新的概率非线性主成分分析模型的探讨 第1章绪论 第l章绪论 本章介绍了课题的研究背景、相关内容的研究现状及本文的主要工作和论文的章 节安排。 1．1课题的研究背景及意义 主成分分析的概念已经诞生了一个世纪之久，但是针对主成分分析理论的研究和 发展一直都没有停止，尤其是计算机应用为主成分分析提供了更广阔的空间。主成分 分析有严格的统计学基础，很多关于多元统计的教材都有介绍主成分分析及其相关内 容的章节。主成分分析的应用包括：数据压缩、特征提取、针对某些具体问题做出综 合评价的决策支持系统【1】，及与其他方法结合，例如用主成分作为新的自变量代替原变 量作回归的主成分回归；以及当原变量的重要程度存在较大差异时，对原变量加权再 进行主成分分析的加权主成分分析。但是，主成分分析在处理某些实际问题时会有一 定的局限性。比如，对于来自多个分布的样本的混合，主成分分析只能将它们看成来 自同一分布的样本，计算该组样本的协方差阵，找到全体数据的最大变异方向。但这 样得到的结果并非总是符合需求的，有时需要更为精确地分析数据的结构。对此，一 种可能的解决方式为构造主成分分析的混合模型，即先将样本分类，再对基于不同类 的样本分别做主成分分析，最后得到各类数据的特征。但是这种方法往往依赖于实际 问题，而且没有统一的表达式。 概率主成分分析是对传统主成分分析的扩展。它将主成分分析理论放在概率框架 中进行讨论，给出了数据信息在主子空间中表达时所对应的概率密度估计。可以直观 的理解为，传统主成分分析在通过样本点确定了主子空间后，对于每一个样本点，主 子空间中存在唯一的点与之对应；概率主成分分析同样可以根据样本数据得到主子空 间的估计，但是对每一个样本点，经概率模型得到的不是主子空间中与之对应的唯一 的点，而是得到与之对应的点的概率密度。这个密度函数的均值向量即可以看作是与 在主子空间中由传统主成分分析得到的确定点相对应的统计量。由此可见，概率主成 一1一 一种新的概率非线性主成分分析模型的探讨 第1章绪论 分分析在保持传统主成分分析特点的前提下，为之定义了一个恰当的概率模型，因 此用这种概率模型的混合形式分析复杂数据会更恰当。而且混合模型的参数可以通 望)算法可以提高运算效率，所以这种意义上的混合模型具有更好的泛化能力。在传统 主成分分析中，样本在与主子空间正交的补空间中保存的信息被直接丢弃了。然而， 在概率主成分分析模型中，这些信息被定义为噪声保存了下来。可见，概率主成分分 析比传统主成分分析对数据的解释更为精确。基于概率模型的特点，概率主成分分析 及其混合模型在实际应用的多个方面，较之传统主成分分析都有更好的表现，具体包 括：可以处理含有缺失值的数据，数据分类，数据降维，图像压缩，数据可视化，流 程控制12】等。但是，主成分分析和概率主成分分析处理数据都是基于对数据进行的线性 变换，然而这种线性变换背景下的处理方法有时并不能满足实际需求。主成分分析和 概率主成分分析通过对样本协方差阵进行特征值分解至多可以得到和样本空间维度一 样多的特征。若需要更多特征来解释数据的结构，则这些基于线性变换的方法就无法 实现了。 核主成分分析是结合核方法的主成分分析，该方法弥补了主成分分析不能提取非 线性特征的不足。核方法借助核函数实现样本空间到特征空间隐式的映射。核主成分 分析相当于将样本点映射到高维特征空间，再在该特征空间中利用主成分分析方法分 析样本的象。对于结合概率模型的非线性主成分分析，一个主要的方法是基于高斯过 程隐含变量模型的概率非线性主成分分析。该方法巧妙地结合核技巧和概率模型对主 成分分析进行了推广，在实际应用中有不错的表现，但它并不是对核主成分分析的直 接扩展，对此本文提出了一种可能的扩展形式，并得到了一种区别于高斯过程隐含变 量模型的概率非线性主成分分析模型。 对于核主成分分析，考虑到高维特征空间的稀疏性以及复杂的分布情况，概率模 型及其混合模型的引入理论上对模型会有改进的效果。与概率主成分分析相比，基于 概率模型的核主成分分析因为运算时需要考虑核技巧，所以需要更多的参数、限定条 件。因而，针对这一问题有很多方面可以继续探讨，例如：选择合适的参数，研究限 制条件对模型的影响，以及结合核函数