卷积神经网络CNN.pptVIP

C5层： 输入图片大小： (5*5)*16 卷积窗大小： 5*5 卷积窗种类： 120 输出特征图数量： 120 输出特征图大小： 1*1 (5-5+1) 神经元数量： 120 (1*120) 连接数： 48120 [16*(5*5)+1]*1*120(全连接） 可训练参数： 48120 [16*(5*5)+1]*1*120 F6层： 输入图片大小： (1*1)*120 卷积窗大小： 1*1 卷积窗种类： 84 输出特征图数量： 84 输出特征图大小： 1 神经元数量： 84 连接数： 10164 120*84（全连接） 可训练参数： 10164 120*84 OUTPUT层： 输入图片大小： 1*84 输出特征图数量： 1*10 最后,输出层有10个神经元，是由径向基函数单元(RBF)组成，输出层的每个神经元对应一个字符类别。RBF单元的输出 ,是由公式： 卷积神经网络的衰落 在很长时间里，CNN虽然在小规模的问题上，如手写数字，取得过当时世界最好结果，但一直没有取得巨大成功。这主要原因是，CNN在大规模图像上效果不好，比如像素很多的自然图片内容理解，所以没有得到计算机视觉领域的足够重视。 深度学习的崛起 2012年10月，Geoffrey Hinton和他的两个学生在著名的ImageNet问题上用更深的CNN取得世界最好结果，使得图像识别大踏步前进。在Hinton的模型里，输入就是图像的像素，没有用到任何的人工特征。 深度学习在图像识别中的应用 2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16,000个CPU Core的并行计算平台去训练含有10亿个节点的深度神经网络（DNN，Deep Neural Networks），使其能够自我训练，对2万个不同物体的1,400万张图片进行辨识。 在开始分析数据前，并不需要向系统手工输入任何诸如“脸、肢体、猫的长相是什么样子”这类特征。Jeff Dean说：“我们在训练的时候从来不会告诉机器：‘这是一只猫’（即无标注样本）。系统其实是自己发明或领悟了‘猫’的概念。” 2014年3月，同样也是基于深度学习方法，Facebook的?DeepFace?项目使得人脸识别技术的识别率已经达到了?97.25%，只比人类识别?97.5%?的正确率略低那么一点点，准确率几乎可媲美人类。该项目利用了?9?层的神经网络来获得脸部表征，神经网络处理的参数高达?1.2亿。 这个惊人的结果为什么在之前没有发生？ 原因当然包括算法的提升，比如dropout等防止过拟合技术，但最重要的是，GPU带来的计算能力提升和更多的训练数据。百度在2012年底将深度学习技术成功应用于自然图像OCR识别和人脸识别等问题，并推出相应的桌面和移动搜索产品，2013年，深度学习模型被成功应用于一般图片的识别和理解。 从百度的经验来看，深度学习应用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率。可以很有把握地说，从现在开始，深度学习将取代“人工特征+机器学习”的方法而逐渐成为主流图像识别方法。 总结 ANN（人工神经网络）又被称为浅层神经网络（shallow neural network，也可能使用了CNN的方法。 CNN（卷积神经网络）其实是已经很早提出来的理论，也得到了在字母识别数字识别上的好的运用，letnet-5。 DNN（深度神经网络）可近似为深度卷积神经网络（CNNs），将卷积神经网络的深度大大加深。 总结 当下研究的热门是用更深层次的卷积神经网络模型用于图像和语音识别。难点在于训练使模型收敛。 Hinton在12年ImageNet能使错误率大大降低的关键不仅仅是增加了卷积神经网络的深度，而之所以能训练深层次的网络使其达到收敛，原因是改进了卷积神经网络的训练方式（ReLU+Dropout)。 Hinton在2012年发表的关于图像处理的文章： imagenet-classification-with-deep-convolutional-neural-networks “ ” “ ” Convolutional Neural Networks 卷积神经网络 主要内容 卷积神经网络—诞生背景与历程 卷积神经网络应用—LeNet-5手写数字识别 深度学习—Hinton做了些什么 深度学习在数字图像识别上的运用 —Hinton如何在2012年ImageNet引起轰动 卷积神经网络提出的背景 浅层神经网络 大约二三十年前，