人工神经网络及其应用2讲神经网络基础知识 文档资料.pptVIP

人工神经网络及其应用 第 2 讲 神经网络基础知识 何建华 电信系，华中科技大学 2019 年 2 月 21 日 内容安排 一、生物神经元 二、人工神经网络结构 三、神经网络基本学习算法 一、生物神经元 ? 生物神经元 ? 突触信息处理 ? 信息传递功能与特点 1.1 生物神经元 ? 神经元是大脑处理信息的基本单元 ? 人脑大约由 10 11 个神经元组成，神经元互 相连接成神经网络 ? 神经元以细胞体为主体，由许多向周围延 伸的不规则树枝状纤维构成的神经细胞， 其形状很像一棵枯树的枝干 ? 主要由细胞体、树突、轴突和突触 (Synapse ，又称神经键 ) 组成 生物神经元示意图 1.2 突触的信息处理 ? 生物神经元传递信息的过程为多输入、单输出 ? 神经元各组成部分的功能来看，信息的处理与 传递主要发生在突触附近 ? 当神经元细胞体通过轴突传到突触前膜的脉冲 幅度达到一定强度，即超过其阈值电位后，突 触前膜将向突触间隙释放神经传递的化学物质 ? 突触有两种类型，兴奋性突触和抑制性突触。 前者产生正突触后电位，后者产生负突触后电 位 1.3 信息传递功能与特点 ? 具有时空整合能力 ? 不可逆性，脉冲只从突触前传到突触后，不逆 向传递 ? 神经纤维传导的速度，即脉冲沿神经纤维传递 的速度，在 1 — 150m ／ s 之间 ? 信息传递时延和不应期，一般为 0.3 ～ lms ? 可塑性，突触传递信息的强度是可变的，即具 有学习功能 ? 存在学习、遗忘或疲劳（饱和）效应 – 对应突触传递作用增强、减弱和饱和 二、人工神经网络结构 ? 人工神经网络 ? 人工神经元模型 ? 常见响应函数 ? 人工神经网络典型结构 2.1 人工神经网络 ? 直观理解 – 神经网络是一个并行和分布式的信息处理网 络结构 – 它一般由大量神经元组成 ? 每个神经元只有一个输出，可以连接到很多其他 的神经元 ? 每个神经元输入有多个连接通道，每个连接通道 对应于一个连接权系数 ? 通用模型 ? 求和操作 ? 响应函数 2.2 人工神经元模型 2.2 人工神经元模型 ? 响应函数的基本作用 – 控制输入对输出的激活作用 – 对输入、输出进行函数转换 – 将可能无限域的输入变换成指定的有限范围 内的输出 ( a) 阈值单元 (b) 线性单元 (c)(d) 非线性单元： Sigmoid 函数 2.3 常见神经元响应函数 2.3 常见神经元响应函数 人工神经元的响应函数 ? 神经元的模型确定之后，一个神经网络的 特性及能力主要取决于网络的拓扑结构及 学习方法 ? 人工神经网络连接的几种基本形式 – 前向网络 (a) – 从输出到输入有反馈的前向网络 (b) ? 用来存储某种模式序列 – 层内互连前向网络 (c) ? 限制层内同时动作的神经元；分组功能 – 相互结合型网络 (d) 2.4 人工神经网络典型结构 神经网络的典型结构 ? 权值确定 ? Hebb 学习规则 ? 误差校正（纠错）学习规则 ? 相近（无教师）学习规则 三、神经网络基本学习算法 ? 人工神经网络连接权的确定通常有两种 方法 – 根据具体要求，直接计算，如 Hopfield 网络 作优化计算 – 通过学习得到的。大多数人工神经网络都采 用这种方法 ? 学习方法是人工神经网络研究中的核心 问题 3.1 权值确定