混合隐藏变量模型和贪婪EM算法-概率论与数理统计专业论文.docxVIP

摘 摘 要 丰成分分析和因子分析足两种常见的隐藏变量模型，它们都足简单有效的 降维工具。但足，它们是一种线性投影，而非线性投影更适合于获得数据中更多 的信息。由于t分布比正态分布稳健，由此产生的混合的基于多元L分布的概率 主成分分析和因子分析对于处理复杂数据更加有效。估计混合模型中参数的方 法中最流行的是EM算法，但是它有如下几个问题：(1)对初值的过度依赖， (2)不能保证其收敛到全局最优点，(3)混合模型中的成分数要先给定。为 此，本文利用基于数据本身信息产生新成分的贪婪的EM算法来估计文中模型的 参数。最后，本文利用建议的算法来处理人工合成的数据以及实际数字的识别． 关键词： 贪婪算法 混合模型 主成分分析 因子分析 EM算法 多元t 分布模式识别 AbstractPrincipal Abstract Principal component analysis(PCA)and Factor axlalysis(FA)is specfic form in the latent variable model．they are simple and efilcient dimension一1·eduetion tools Due to the robustness of the t-distribution，mixI,ures of probabilistic Drineipal c0111一 ponent analysis and mixtures of factor analysis based on multivariate t-distribution ai e inore effective to deal with complex data，The most popular method llsed to learn mixture model is EM algorithm，however：it has following disadvantages：(i) exeessive dependence on initial vMue，(ii)it ca，nnot assure the convergence to the optimal global point，(iii)number of components in the mixture m。dci needs t。bc given initrially So，a greedy EM algolithm based on the new colnponellt generated from the inff)rmation of the data％VaS ased to estimate the pararileLers of t11e fIlodet in the paper At the end，the greedy EM algorithm WaS applied to solve synthetic data and the actual digit reeogniton Keywords：greedy algorithm mixture model PCA FA EM algorithm multivariate t distribution pattern recognition 东南大学学位论文独创性声明及使用授权的说明 东南大学学位论文 独创性声明及使用授权的说明 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标明和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或 址书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的、兑明并表示了谢意． 签名 日期：—— 二、关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子 文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查 阅和借阅，可以公布(包括刊登)论文的全部或部分内容．论文的公布(包括刊登) 授权东南大学研究生院办理． 签名 导师签名 日期：—— 第一牵 第一牵 引言 隐藏变量模型中的常见彤式是主成分分析(PCA)和因子分析(FA)，它们都 足有效的降维技巧，其应用领域很广，包括图象分析，模式识别，数据压缩，回归分 析，列糊序列等。主成分分析(Jollifre，1986)足一种线性投影，它保持了投影空间中 方差最大化(Itotelling，1933)：假设有一组d维数据向量{￡。}，，t∈{1