神经网络与卷积神经网络.pptVIP

Colleague of Computer Science Inner Mongolia University Hohhot , Inner Mongolia , P.R China Email: huangzhiqiang@ 模型的复杂度 一个m*n*t的三层网络，连接权重的数量为m*n+n*t，bias的数量为n+t个。 通常模型的参数越多，模型的表现功能就越强。参数就像砖块，你的砖块越多，你可以用砖块表现的建筑也就越多。 但是模型参数越多，越不好训练： why？ 参数多，局部最优值越多，最常用的梯度下降法训练网络容易陷入局部最优点。 训练花费时间越长，使用的时候需要的计算也相对多。 局部最优 模型空间的局部最优与全局最优 解决方法 神经网络预训练，如用RBM预训练，在有监督的训练前使模型空间处于一个比较好的位置，容易在模型空间一个好的位置收敛 仿照人脑神经的工作特点，简化参数，增加深度。如卷积神经网络CNN。 CNN 根据人眼睛视觉神经的局部感受野特点设计。 局部感受视野 共享权值 卷积神经网络 leNet5 的鲁棒性/exdb/lenet/index.html 卷积神经网络 基于人工神经网络 在人工神经网络前，用卷积滤波器进行特征抽取 使用卷积核作为特征抽取器 自动训练特征抽取器（即卷积核，即阈值参数） 卷积核一次训练多次使用，可以在线学习（模型在训练好之后，在使用中继续训练）。 局部感受野+权值共享+降采样 使模型参数大幅减小。 卷积 卷积其实是一个图像处理核 卷积用于增强图像的某种特征 卷积的效果 子采样 降低图像分辨率 减少训练维数 增强网络对大小变化的适用性 这个过程也被称为pooling，常用pooling 有两种： mean-pooling、max-pooling ***！三次最重要的卷积 一般卷积神经网络的结构 一个多图卷积的过程(正向过程) C2[4] = sigmoid( cov(S1[1]*filter1[1][4]) +cov(S1[1]*filter1[1][4]) +cov(S1[1]*filter1[1][4]) +cov(S1[1]*filter1[1][4]) ) 一个多图卷积的过程(误差传播过程) CNN我的一些工作 无交叉卷积的效果 无交叉卷积的迭代效果 交叉卷积结构 交叉卷积的结果 迭代次数-时间-准确率 A Hand-writing digit recognition Application base on Neural network and covolutional neural network NN digit recognition 1. Background 2. Method neural network back-propagation 3. Experiment training and testing samples neural network structure results OCR (Optical Character Recognition) has become one of the important methods in gathering information and information transformation. Digit recognition has a promising feature in many fields in society, such as the car license plate recognition , postcode recognition, the statistics of report forms and financial report forms. So the research on the Digit recognition is important. background neural network Neural network is a machine learning method. method Back Propagation Back propagation(BP) is a neural network learning algorithm. method Environment Hardware: CPU: Intel core i7 3630QM, 2.4GHZ Memory: 8G Byt