“集成学习在增量学习中应用”调研报告.docx

PAGE \* MERGEFORMAT 1“集成学习在增量学习中的应用”调研报告基于负相关神经网络集成的增量学习及其在人脸检测方面的应用姓名：于宏皓 学号：1120151950应用领域当今社会，信息安全与个人隐私越来越重要，传统的身份认证方法存在着不可靠性，利用人体特征进行识别具有更高的可靠性。与虹膜指纹相比，人脸识别有着直观，隐蔽，友好等优势。通过人脸检测，人脸定位并抽取人脸图，人脸特征识别完成身份认证，所以人脸识别是一种理想的生物识别技术。要解决的关键问题随着技术的发展，数据量爆炸式的增长，传统的机器学习方法需要同时处理所有的数据，使存储代价和计算代价越来越高，没有考虑到学习环境的改变和继续学习的情况。所以在这种情况下，增量学习有着广阔的应用前景，但却缺少实际应用的例子。这篇文章提出的负相关学习是一种有效构建神经网络集成的算法，具有神经网络和集成算法的双重优点，因此在增量学习方面具有独特的优势。这篇文章尝试将增量学习应用到人脸检测中，以解决其完备训练库难以获取的问题，使人脸检测器的性能得以提高。算法的核心思想该算法由演化算法确定固定式NCL的初始参数，是基于神经网络集成的NCL增量学习算法，设计和训练了一个基于NCL的增量人脸检测器。集成学习是将多个不同的模型以某种方式组合在一起，其目的是利用这些单个模型的差异，来提高整个集合的泛化性能。神经网络由于其具有自学习的能力，不需要人们特别设置就能够主动生成具有一定差异性的学习器，因此神经网络集成成为当前最常用的集成方法之一。负相关学习（Negative Correlation Learning，NCL）是一种有效构建神经网络集成的方法，通过在神经网络集成中各个体网络的误差函数中引入一个相关性惩罚项来并发的训练这些个体网络，试图在同一个学习过程中来训练和组合各个体网络，目的使整个神经网络集成取得最好的训练效果。负相关学习能够在保证精确度的同时，促进个体网络间的差异性，所以其在增量学习中有着天然的优势。演化计算使负相关学习系统自动调节参数，使之自动适应不同的数据集和其增量形式，被证明是提高学习系统性能的一种有效的方法和策略。实验数据及实验结果分析对于人脸检测来说，一般关注两个指标，人脸检测率，即检测出来的人脸和人脸总数的比率，错误检测数，即有多少的非人脸被当成是人脸检测出来了。本文提出的算法在分类器上与传统算法不同，分类器的训练是一个增量的过程，训练样本的加入是逐渐加入训练的。可以节省样本收集的时间。实验的准备阶段，进行了神经网络特征值选择、人脸样本的采集及设定、非人脸图片的采集以及图片预处理和后处理。测试库选择了CMU-MIT测试库的NEWTEST测试集，包含65张图片共183幅人脸。初始人脸检测器的误检数较大。进行10轮增量学习后，相邻矩形阈值同为2时的误检数大幅降低，检测率也有较大提升。说明分类器的性能随着增量学习的过程有了较大的提高。实验结果也验证了增量学习的效果。结论增量算法在原来学习的基础上学习新数据，这使得他在处理海量数据时特别有效。而神经网络集成在增量学习应用上有着天然的优势，负相关学习是一种通过引入惩罚因子来实现神经网络的算法，并已被用于增量学习，取得良好的效果。本文设计和实现了一种基于NCL的增量式人脸识别系统，并用实验结果验证了方法的有效性和可行性。所调研论文[1] 范燕苏. 基于负相关神经网络集成的增量学习及其在人脸检测方面的应用[D].合肥：中国科学技术大学信息技术学院，2009:1-54