- 1、本文档共12页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
几种降维方法PCA、LDA、LPP /oimz/archive/2011/08/24/PCA.html
初识PCA-主成分分析
??PCA,Principal Component Analysis。是一种掌握事物主要矛盾的统计分析方法,它可以从多元事物中解析出主要影响因素,揭示事物的本质,简化复杂的问题。这是百度百科的一句话。个人对其的理解,这是一种减少干扰信息并用来区分数据的方法。
? 比如小A和小B是一对双胞胎,小A的额头上有颗痣,而小B没有。此时,我们分辨这两个人只需要根据谁的额头上有痣即可,而无需关注两个人在其他方面的微小差别。
??人脸中长了痣,这是很形象的,且根据经验,人们会把这颗痣当做区分这对双胞胎的要素。而在现实生活的数据处理中,如向量,向量之间的区分点不是那么明显,而且机器也不会根据经验来判断哪些数据可以当做区分与其他向量的要素。针对这一问题,PCA被提了出来,PCA算法是一种无监督学习(unsupervised learning),无须事先训练则可以找到区分于其他数据的“痣”。
? 关于PCA算法的步骤,网上到处都是而且很详细,而那些公式也大多是一样了。本文中便不再赘述,在这里只是做一下简单的介绍。首先我们有N个P维的向量要区分,X1,X2...Xn。P比较大,则处理所有向量的数据量较大,我们将其降至d维(dP)。首先构造矩阵S=[X1,X2...Xn],算出协方差矩阵C(P维方阵),求出C的特征值T和特征向量V。将特征值按从大到小排列取出前d个特征值,并将这些特征值对应的特征向量构成一个投影矩阵L。使用S*L则得到降维后的提出主成分的矩阵。下面附上自己做的小实验。
? X1 = [1,2,4]?? X2 = [10,4,5]? X3 = [100,8,4]
??根据经验上述3维向量中,第一维和第二维是区分的要素且第一维比第二维区分度更大。于是我们构造矩阵S,
??S = [1,2,4;10,4,5;100,8,5]
? 计算出S的协方差矩阵C = COV(S),
??C =
? 1.0e+003 *
??? 2.9970??? 0.1620??? 0.0180??? 0.1620??? 0.0093??? 0.0013??? 0.0180??? 0.0013??? 0.0003
? 求出协方差矩阵C的特征值T和特征向量V,[T,V] = eig(C)
??T =
?? -0.0235??? 0.0489?? -0.9985??? 0.5299?? -0.8464?? -0.0540?? -0.8478?? -0.5303?? -0.0060
??V =
? 1.0e+003 *
?? -0.0000???????? 0???????? 0???????? 0??? 0.0008???????? 0???????? 0???????? 0??? 3.0059
? 取出第3个和第2个特征值以及相对应的特征向量构成投影矩阵L(实际上可以只取第三维)
? L =
?? -0.9985??? 0.0489?? -0.0540?? -0.8464?? -0.0060?? -0.5303
? 使用S*L则得到新的降维后的矩阵N
? N =
?? -1.1305???? -3.7651? -10.2310??? -5.5481? -100.3120?? -4.5327
? 则提取出了可以用于区分的二维。
/warmyellow/article/details/5454943
线性判别分析(Linear Discriminant Analysis, LDA)算法分析
LDA算法入门
?
一.
线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是模式识别的经典算法,它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性。因此,它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大,并且同时类内散布矩阵最小。就是说,它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离,即模式在该空间中有最佳的可分离性。
二.
假设对于一个空间有m个样本分别为x1,x2,……xm 即 每个x是一个n行的矩阵,其中表示属于i类的样本个数,假设有一个有c个类,则。
………………………………………………………………………… 类间离散度矩阵
…
您可能关注的文档
- “传播学教程”最新版本新增知识点.doc
- 常见数据分析方法及案例[2].ppt
- 写字课校本材教123.doc
- 写毕业论文和如何阅读文献.doc
- “保险”栏目策划方案.doc
- 写社会实践本步骤以及如何在MCS上传文件步骤.doc
- 干细胞研究进展-开题报告ppt[演示文稿].ppt
- “做一个有道德的人”活动总结.doc
- 写字楼物业标准化的管理.doc
- “做好事-学雷锋”班级策划.doc
- 高中数学人教版必修课件集合的含义及表示(共23张课件).pptx
- 销售专员mro岗位职责(20篇范文).docx
- 高中数学-1.4.3-正切函数的性质与图象教学设计学情分析教材分析课后反思.doc
- 销售员周工作总结11篇.docx
- 追踪法在护理质量管理中的应用.pptx
- 迷走神经刺激治疗难治性抑郁症的研究进展.pdf
- 高中数学新人教A版必修第一册-2.1.1-不等关系与比较大小-课件(39张)-.ppt
- 高中数学《全称量词与存在量词》课件新人教版A版必修.ppt
- 高中物理人教版(2020新教材)必修第二册教学课件:第八章机械能守恒定律-第1节功和功率(共48张课件).ppt
- 销售月度总结报告(五篇).docx
文档评论(0)