面向噪声数据的正则化学习算法研究-应用数学专业毕业论文.docxVIP

A Study on Regularization Learning Algorithm for Noise Data By Ye Hailiang A Dissertation Submitted to China Jiliang University In partial fulfillment of the requirement For the degree of MASTER of Science China Jiliang University June, 2015 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得中国计量学院 或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名: 签字日期: 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解中国计量学院 有关保留、使用学位论文的规定。特 授权中国计量学院 可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本 授权说明） 学位论文作者签名: 导师签名： 签字日期: 年 月 日 签字日期: 年 月 日 致 谢 时光荏苒, 岁月如梭, 转眼间三年的硕士生涯已进入尾声阶段. 回首这三年的 学习生活, 让我感触良多, 有渴望, 有追求, 有收获, 当然也有失落, 我孜孜不倦, 不 断充实自己. 在这三年的求学历程中, 许多老师、同学、朋友和亲人的鼓励和帮助, 让我获益良多, 在此, 我想对那些所有指导、帮助和关心过我的师友与亲人表达最 诚挚的感谢. 首先，衷心感谢我的导师曹飞龙教授和赵建伟教授. 曹老师严肃的科学态度, 严谨的治学精神, 精益求精的工作作风, 深深地感染和激励着我, 必将让我受益终 身. 在这三年的学术科研中, 曹老师和赵老师对我不遗余力的指导与帮助, 使我在 理论水平和科研能力上有了很大的提高, 同时在生活上给我以无微不至的关怀， 让我能够顺利完成学业, 在此谨向曹老师和赵老师致以最诚挚的谢意和最崇高的 敬意! 感谢澳大利亚拉筹伯大学的王殿辉教授、英国阿伯泰大学的孙建永教授及西 安交通大学的孟德宇副教授对我学术上的帮助. 感谢张永全老师、周正华老师及 导师组的谈元鹏、王学军、蔡苗苗、符艳青等师兄师姐对我科研上的诸多帮助、 建议和创新想法; 感谢车四方、戴侃侃、黄震等班级同学及导师组的师弟师妹们 对我学习和生活的帮助与支持; 感谢平常一起玩闹的朋友们, 让我快乐的度过这三 年. 最后，感谢养育我这么多年的父母, 感谢你们对我学业的坚定支持及在生活 和经济上给我最大的扶持. 在即将走出校园, 直面大千世界的路口, 真诚地感谢所 有理解我、支持我、帮助我和鼓励我的亲朋好友, 你们的支持, 是我永远的财富, 让 我的前路一片光明！ 叶海良 2015 年 6 月 面向噪声数据的正则化学习算法研究 摘要： 本文主要研究面向噪声数据的正则化学习算法, 并对随机权网络 (NNRW) 相关算法进行了改进. 随机权网络算法具有快速学习能力以及强大的逼近能力, 然而, 当出现噪声数据时, 其模型不具有稳定性和稀疏性, 特别地, 对于离群点 (Outliers) 并不鲁棒, 甚至当训练样本集太大时, 该方法可能无法求解. 基于此, 本文针对随机权网络算法展开了研究和讨论, 主要包括基于随机权网 络的 ?2-?1 正则化学习算法研究, 基于鲁棒建模的概率随机权网络算法研究和基于 大样本数据的分布式近似牛顿型随机权网络算法研究. 具体工作概括如下: 1. 我们提出了随机权网络的 ?2-?1 正则化模型, 旨在同时考虑随机权网络的稀 疏性和稳定性. 由于 ?1 范数不可微使得 ?2-?1-NNRW 模型无解析解, 我们利用凸分 析工具构造不动点迭代方法来求解该模型, 从而提出了 ?2-?1-NNRW 算法. 在激活 函数有界的约束下, 我们从理论上证明了 ?2-?1-NNRW 模型的收敛性、稀疏性和稳 定性, 保证了训练网络的有效性. 实验结果表明, ?2-?1-NNRW 算法不仅能避免过拟 合, 而且还具有较好的性能, 且解具有稀疏性和稳定性. 2. 针对随机权网络对于离群点不鲁棒的问题, 我们提出了一种新颖的概率鲁 棒随机权网络 (PRNNRW) 算法, 试图增强随机权网络对离群点的鲁棒性. 其关键思 想是利用离群点在样本中的最稀疏性, 结合压缩感知理论提出了基于 ?1 损失函数