增长式卷积神经网络及其在人脸检测中的应用.ppt

* 增长式卷积神经网络 及其在人脸检测中的应用 * * 主要内容 卷积神经网络 1 基于结构增长的卷积神经网络 2 结构增长式网络的后期学习 3 实验结果 4 * * 卷积神经网络 三种结构性方法： （1）局部感受域 （2）权值共享 （3）空间域或时间域上的次采样 图1 卷积神经网络结构图 * * 卷积神经网络的优点 （1）输入图像和网络的拓扑结构能很好的吻合。 （2）特征提取和模式分类同时进行，并同时在训练中产生。 （3）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。 （4）方便并行化处理。 * * 基于结构增长的卷积神经网络 定义： 利用增量的方式从最简单的网络开始增长，生成一个检测速度很快而网络规模却相对较小的卷积神经网络。 目的： 构造大规模的网络会提高一定的识别率，但是网络参数大，花费时间长。在精确度与检测速度这两者之间保持一个最佳平衡。 * * 基于结构增长的卷积神经网络 不使用先验知识为网络事先设定结构，而是根据训练的情况，让它自己“长大”，直到可以达到要求为止。 学习过程分为两个阶段： （1）前期学习 （2）后期学习 * * 基于结构增长的卷积神经网络 图2 初始情况下的卷积神经网络a 需训练参数：89个 * * 基于结构增长的卷积神经网络 如果N1输出大于0，则表示输入为人脸；如果输出小于或等于0，则表示输入为非人脸。 学习算法： 停止学习：样本的误差收敛速度低于所设定的值； 继续学习：网络的平均误差没有达到期望要求，训练过程进入第一轮增长。 * * 基于结构增长的卷积神经网络 图3 网络a经过第一轮的增长得到的卷积神经网络b 全部参数：181个 需训练参数：92个 * * 基于结构增长的卷积神经网络 学习算法： 权值修改路线始终沿着新增加的神经元； 已经训练好的路线神经元不做修改。 停止学习：样本的误差收敛速度低于所设定的值； 继续学习：网络的平均误差没有达到期望要求，训练过程进入第二轮增长。 * * 基于结构增长的卷积神经网络 图4 网络b经过第二轮的增长得到卷积神经网络c 全部参数：240个 需训练参数：62个 * * 基于结构增长的卷积神经网络 下面给出整个网络结构的增长算法： * * 结构增长式网络的后期学习 学习目的：较好地解决非人脸样本收集不足的问题。 结构固定的神经网络在每一次训练后都会更新全部的权值，容易丢失原有的训练“记忆”。 结构增长式网络为后期新样本增加了新的神经元来进行后期学习，学习过程只更新新增加的神经元权值，已经训练好的神经元不做修改。 既保留了前期训练的结果，又学习了新的知识。 * * 结构增长式网络的后期学习 图5 结构增长式网络进行后期训练 * * 结构增长式网络的后期学习 新增加的神经元为分支7。 为了防止后期学习造成过拟合： 使用交叉验证技术，采用一个独立的验证集，在此验证集上误差达到最小时，就停止训练。 * * 实验结果 与Carcia神经网络进行比较，分成两部分： 前期训练结果比较： 比较经过前期训练的网络的检测速度与精确度性能。 后期训练结果比较： 关于两个网络对于新增样本的后期学习的效果比较。 * * 实验结果：前期训练结果比较 从Cmu图片库中选取样本。 采用4858幅样本对两者进行前期的成批训练。 采用10000幅同样大小识别图片对前期效果进行测试。 为平衡识别率与识别速度，增长式卷积神经网络的最终分支数选为6。 实验结果： 6支路ICNN较Carcia识别率略低， 识别时间只有后者的63%。 * * 实验结果：前期训练结果比较 表1 前期训练结果比较 * * 实验结果：前期训练结果比较 再使用一些来源于网络的图片为两者的检测率做一下比较： 网络类型 检测率 虚警数 增长式卷积神经网络 91.8% 213 Carcia网络 92.5% 187 表2 前期检测结果在网络图片上的比较 * * 实验结果：后期训练结果比较 采用原来进行训练的4858幅样本，并另外收集1000幅样本，包括500幅人脸样本和500幅非人脸样本，总共5858幅样本作为后期训练样本。另外，再从Cmu图片库中选择8000幅图片作为验证图片集。 6支路ICNN识别率为98.28% Carcia网络识别率为98.67% 时间上，前者是后者的六分之一。 * * 实验结果：后期训练结果比较 再重新使用先前的网络图片为两者的检测率进行比较： 网络类型 检测率 虚警数 增长式卷积神经网络 92.3% 158 Carcia网络 92.5% 187 表3 后期训练结果在网络图片上的比较 * ICNN的两大改进： * 第一：根据训练要求，网络结构不