【笔记】神经网络读书笔记.docx

学习好资料欢迎下载神经网络部分学问点总结一、神经网络的基础1.1 神经网络概念神经网络是由简洁处理单元构成的大规模并行分布式处理器，自然具有储备体会学问和使之可用的特性； 学习好资料 欢迎下载 神经网络部分学问点总结 一、神经网络的基础 1.1 神经网络概念 神经网络是由简洁处理单元构成的大规模并行分布式处理器，自然具有储备 体会学问和使之可用的特性；神经网络在这两方面与大脑相像： 1. 2. 神经网络是通过学习过程从外界环境中猎取学问的； 互连神经元的连接强度，即突触权值，用于储备猎取的学问； 1.2 神经网络性质和才能 神经网络具有以下有用的性质和才能： 1.非线性：人工神经网络可以是线性或者非线性的； 2.输入输出映射：称之为有老师学习 (learning with a teacher)或监督学习 (supervised learning)的关于学习的流行方法； 它使用带标号的的训练样例 (training example)或任务样例 (task example)对神经网络的突触权值进行修改； 3.自适应性：神经网络具有调整自身突触权值以适应外界环境变化的固有才能； 4.证据响应 (evidential response：) 在模式分类问题中，神经网络可以设计成不 仅能够供应挑选哪一个特定模式的信息， 仍供应关于决策的置信度信息； 后者可 以用来拒判那些可能显现的过于模糊的模式，从而进一步改善网络的分类性能； 5.上下文信息 (contextual information)：神经网络的特定结构和激发状态代表知 识；网络中每一个神经元都受到全部其他神经元全局活动的潜在影响； 6.容错性：一个以硬件形式实现的神经网络具有天生的容错性，或者是鲁棒性的运算才能； 7.VLSI 实现：神经网络的大规模并行性使它具有快速处理某些任务的潜在才能，很适合使用超大规模集成 (VLSI) 技术来实现； 8.分析和设计一样性； 9.神经生物类比； 学习好资料欢迎下载1.3 神经元模型的三个基本元素1、突触或连接链集， 每一个都由其权值或者强度作为特点；如在连到神经元被乘以 k 的突触权值k 的突触 j 上的输入信号，第一个下标指正在讨论的这个神经元，其次个下标指权值所在突触的输入端；2、加法器，用于求输入信号被神经元相应突触加权的和 学习好资料 欢迎下载 1.3 神经元模型的三个基本元素 1、突触或连接链集， 每一个都由其权值或者强度作为特点； 如在连到神经元 被乘以 k 的突触权值 k 的突触 j 上的输入信号 ，第一个下标指正在讨论的这 个神经元，其次个下标指权值所在突触的输入端； 2、加法器，用于求输入信号被神经元相应突触加权的和； 3、激活函数，用于限制神经元输出振幅； k 个神经元；用数学方程描述神经元： 上图为非线性神经元模型，标记为第 是神经元 k 的突触权值， 是输入信号， 是输入信号的线性组合 其中 器的输出， 为偏置，激活函数为 ， 为神经元输出信号； 1.4 激活函数的类型 1、阈值函数 (Heavside函数)：如图（ a）所示 2、sigmoid 函数： sigmoid 函数的一个例子是 logistic 函数：如图（ b）所示 其中 a 是 sigmoid 函数的倾斜参数； 学习好资料欢迎下载1.5 网络结构神经网络分为三个基本结构：1、单层前馈网络：源节点构成输入层，直接投射到神经元输出节点上；2、多层前馈网络：有一层或多层隐匿层，相应的运算 学习好资料 欢迎下载 1.5 网络结构 神经网络分为三个基本结构： 1、单层前馈网络：源节点构成输入层，直接投射到神经元输出节点上； 2、多层前馈网络：有一层或多层隐匿层，相应的运算机节点称为隐匿神经元；隐匿是指神经网络的这一部分无论从网络的输入端或者输出端都不能直接看到； 3、递归网络：和前馈网络的区分在于它至少有一个反馈环； 1.6 学习过程 广义上讲，可以通过对神经网络的功能来对其学习过程进行分类：有老师学 习和无老师学习；按同样标准，后者又可以分为无监督学习和强化学习两个子类； 1、有老师学习：也称监督学习；从概念上讲，我们可以认为老师具有对周 - 输出样本；然而神经网络对环 围环境的学问，这些学问被表达为一系列的输入 境一无所知； 2、无老师学习：没有任何带标号的样例可以供神经网络学习； 强化学习：输入输出映射的学习是通过与环境的不断交互完成的，目的是使 一个标量性能指标达到最小； 如左下图； 无监督学习： 没有外部的老师或者评判 来监督的学习过程；如右下图； 学习好资料欢迎下载二、感知器2.1 感知器模型感知器神经元模型由一个线性组合器和随后的硬限幅器组成；如图为感知器符号流图；（执行一个符号函数）硬限幅器输入或神经元的诱导局部域是：感知器的目的就是将外部作用鼓