- 1、本文档共14页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
深入剖析神经网络的运行机理及实现
深入剖析神经网络的运行机理及实现
随着大数据和机器硬件水平的提升,神经网络特别是深度神经网络现在是大火特火。因为目前的深度学习模型都是基于神经网络进行的改进和加深,所以要想对深度学习有一些较深入的研究,先熟悉和了解人工神经网络是非常有帮助的。
本文基于神经网络实现一个手写体数字识别模型,此处使用的数据集为sklearn自带的digit数据,只要装了sklearn就可以直接获得。
1、手写体人工神经网络模型
神经网络是一个判别模型,它会利用训练集学到一个从输入到输出的映射关系,结构上可以分为输入层、隐藏层和输出层,如上图。输入层用于接收数据的输入,通过隐藏层的处理,最后经输出层转换得到输出。
上图为基于mnist数据集画的一个神经网络模型,因为mnist一张图片为28*28=784,故输入层有784个神经元。而digit的图片为8*8=64,故digit数据集的输入层有64个神经元,也就是说我们将要实现的神经网络输入层有64个神经元,要简单很多。
神经网络的性能如何,隐层的设计非常关键,隐藏层是设计用来自动学习特征的,通过这些学到的特征来进行最后一层的分类任务,那它会学到什么东西呢?在手写体数字识别中,大概会学到这样的特征:
有了隐层学到的这些东西,那么对它进行组合判断就很容易得到输出了,例如发现上面的四个特征均被激活,则如我们所知,其有很大的概率表示数字0。
2、运行机理及实现
在有监督学习中,模型会分为训练阶段和预测阶段,在训练阶段将模型中的待定参数学习出来,然后用在预测阶段,就好像我们初中求解带参方程ax+b=y一样,首先通过已知条件把方程中的参数给求解出来,然后再利用求出来的参数计算给定x下的y值。
在神经网络的训练阶段,主要包括以下几步:
(1)加载训练集;
(2)前向传导,将信息传递给输出层;
(3)利用标注信息和代价函数来计算代价;
(4)通过反向传播代价函数梯度来更新每一层中的参数
其简单实现的整体代码如下:
#coding=utf-8
'''
Created on Jul 20, 2016
'''
import numpy as np
import random
from sklearn import datasets
class Network(object):
def __init__(self,sizes):
'''
parameters:
sizes中保存了神经网络各层神经元个数
functions:
对神经网络层与层之间的连接参数进行初始化
'''
#权重矩阵
self.weights = [np.random.randn(y,x) for x,y in zip(sizes[:-1],sizes[1:])]
#偏置矩阵
self.biases = [np.random.randn(x) for x in sizes[1:]]
def init_parameters(self,parameters):
'''
functions:初始化模型参数
parameters主要包括:
epochs:迭代次数
mini_batch_size:批处理大小
eta:学习率
nnLayers_size:神经网络层数
'''
self.epochs = parameters.get("epochs")
self.mini_batch_size = parameters.get("mini_batch_size")
self.eta = parameters.get("eta")
self.nnLayers_size = parameters.get("nnLayers_size")
def load_data(self):
'''
functions:加载数据集,这里使用的是sklearn自带的digit手写体数据集
'''
digits = datasets.load_digits()
return digits.data, digits.target
def feed_
文档评论(0)