基于卷积神经网络的图像检测.docxVIP

绪论 PAGE \* MERGEFORMAT2 第一章绪论 1.1 研究背景 1.1.1人工神经网络的发展 纵观人工神经网络的发展历史，有经历过高潮期，也有衰落的时候。 上世纪四十年代，Mcculloch和Pitts以他们对生物神经元的了解，提出了MP神经元模型。示意图如下： QUOTE X1 X1 . QUOTE w1j w1j . QUOTE . . X 图1-1 MP神经元模型 表1-1 生物神经元与MP模型对比 生物神经元 神经元 输入信号 权值 输出 总和 膜电位 阈值 MP模型 j o T 这是第一个用数学方法描述的生物神经元的结构，从此有了人工神经网络这一概念，也开始了它的漫漫发展历程。 随后，Hebb注意到了生物的条件反射与人工神经网络的联系，并提出了Hebb学习规则。该学习规则包含有一个算法： 该算法表示权值的误差是和网络输入和网络输出是成正比关系的。在此之后，人们对这种算法进行优化创新，新的算法和规则纷纷涌现。 到了上世纪五十年代，感知机（Perceptron）模型问世，它融合了一些现代计算机科学的原则，还有权重更新，增加偏置等一系列创新算法，使得它成为第一个完整的人工神经网络。 1969年，《Perceptron》一书出版，该书认为:单层的感知机不能完成异或计算，并且当时的以当时的科技发展水平无法完成人工神经网络所需要的大规模的运算要求。这些观点都让当时的人工神经网络研究陷入僵局，人工神经网络研究进入了第一段的发展衰落期。 到了七十年代，哈佛博士生Paul Werbos提出了著名的反向传播算法(back—propagating),反响不大。但后来这一算法又被自然杂志的一篇文章所提起，其激励传播、权重更新等一系列创新性的理论使得人工神经网络有重焕生机。 八十年代，Hopfield神经网络模型出现，该模型对反向传播算法进行了更具体的实现。从BP算法中得到启发，对此神经网络采用负反馈流程来提高其网络稳定性；对权重更新设计了诸如外积法、伪逆法、正交设计法等一系列方法。为带反馈的人工神经网络模型算法提供了重要的公式和理论基础。 随后，connectionism网络模型与并行计算的出现，使得人工神经网络的负反馈算法日趋成熟，但是由于负反馈网络模型所采用BP算法对隐含层数目过多问题有着局部最优和过拟合的缺点，人工神经网络的发展也是受到了根本性的限制。自此关于人工神经网络的研究出现了第二次发展低潮。 1.1.2 Deep Learning对于人工神经网络的推动 然而，在人工神经网络的第二次发展低潮期间，很多研究人员并没有放弃人工神经网络的研究。终于，在2006年的自然科学杂志上，深度学习(Deep Learning)被提出，这篇文章关于人工神经网络的这一最新研究成果。这篇文章表明多隐含层的人工神经网络对于特征抽取具有更好的效率，并且识别效果更好；然后对每一层都初始化的话，就能减少训练的难易度。 传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。输入层 - 卷积层 -降采样层 -卷积层 - 降采样层 -- -- 隐藏层 -输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是信号-特征-值。特征是由网络自己选择。 因此，深度学习，就是构建一个具有多隐含层的人工神经网络模型，通过加入如卷积层和降采样层，逐层初始化从而得到有关数据集的更本质的特征,来提高分类的准确性。深度学习和传统的浅层学习的主要区别在模型的深浅，这直接关系到对于图像特征的深层处理过程，与图像检测的准确性直接挂钩。 目前，常见的深度学习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine， RBN），信念神经网络（DBN），卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders）。 1.1.3 卷积神经网络的研究现状 2006年，卷积神经网络（CNN）出现。它继承了深度学习的基本思想，采用多个隐含层的神经网络模型，并运用了许多的分类数据集进行训练和测试，在当时得到了世界最好的成绩，但由计算机于硬件水平有限，计算运行速度遇到瓶颈，使得CNN应对大型图像数据处理上乏力。 后来，随着2012年的10月ImageNet问题的解决，CNN