神经网络基础概念.pdfVIP

NN学 习分享 钱思聪 contents - 什么是神经网络 - 神经元模型 - 神经网络概念理解 - 网络结构 - 教材第一章学 习总结 - 难点理解 - 误差 - BP 什么是神经网络 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够 模拟生物神经系统对真实世界物体所做出的交互反应[Kohonen,1988]。 - 非线性 - 输入输出映射(监督学 习) - 自适应性 - 容错性 - 神经生物类比 神经元模型 生物神经元 - 胞体 神经细胞本体 - 树突 长度较短，接受其他神经元信号(输入) - 轴突 输出信号 - 突触 一个神经元与另一神经元联系部分，将信号传递给下一神经元的胞体(兴 奋)或树突(抑制) 神经元模型 神经元基本工作机制 - 两种状态 ：兴奋和抑制 - 树突和胞体接受信号 - 多个输入神经元信号，并以代数和形式叠加 - 多个输入兴奋的代数和超过阈值，神经元被激发，发出输出脉冲，由轴突和突 触传递给其他神经元 神经元模型 神经元模型三种基本要素： - 突触或连接链集 每一个都由其强度，即权值作为特征。 - 加法器 用于求出输入信号被神经元的相应突触加权的和。 - 激活函数 用来限制神经元输出振幅，也可称为挤压函数，将神经元的输出范 围限制在[0,1]或者[-1,1]。即人脑神经元的兴奋和抑制状态。 激活函数 sigmoid函数 - 非线性，单调性 - 无限次可微性 - 权值很大时,近似阈值函数；权值很小时，近似线性函数 感知器 感知器(Perceptron)，也称双层神经网络、单计算层感知器。 - 输入层，也称感知层。每个节点接收一个输入信号，多个输入信号组成输入列 向量 - 具有计算单元的输出层。构成输出列向量。 - 两层直接的链接权值。构成权值矩阵。 感知器 感知器 感知器 感知器 两计算层感知器解决异或问题 x1 x2 y1 y2 o 0 0 1 1 0 0 1 1 0 1 1 0 0 1 1 1 1 1 1 0 感知器 感知器解决线性分类问题 - 设输入向量 则输出： 则 由方程 w x +w x -T =0 1j 1 2j 2 j 确定了二维平面上的一条分界线。 感知器 - 确定了n维空间上的一个分解平面。 结论 ：一个最简单的单计算层感知器，具有分类功能。可实现 线性分类器。 多层感知器 网络结构 单层神经元前馈网络 具有一个 隐藏层和输出层的全