神经网络2课件.pptVIP

* 1925年出生于美国俄勒冈州 60年代提出计算机是人类智力的放大器的观点 1964年发明鼠标，67年申请专利，70年取得专利 对超文本技术作出了巨大贡献，以他的名字命名ACM超文本会议最佳论文奖 Hecht—Nielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE—Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。 人工神经网络的概念 Hecht—Nielsen（1988年）（续） 处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 人工神经网络的概念 强调： ① 并行、分布处理结构； ② 一个处理单元的输出可以被任意分支，且 大小不变； ③ 输出信号可以是任意的数学模型； ④ 处理单元完全的局部操作 人工神经网络的概念 1）一组处理单元（PE或AN）； 2）处理单元的激活状态（ai）； 3）每个处理单元的输出函数（fi）； 4）处理单元之间的联接模式； 5）传递规则（∑wijoi）； 6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7）通过经验修改联接强度的学习规则； 8）系统运行的环境（样本集合）。 人工神经网络的概念 Rumellhart，McClelland，Hinton Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 人工神经网络的概念 多学科性 神经生理学：了解结构、信息活动的生理特征 认识科学：物理平面到认识平面的映像表达、编码理论、符号方法等 数理科学：NN运算和状态分析的工具 信息论、计算机科学以及各工程领域：工程应用 人工神经网络 简单单元广泛互连 每个单元和连接具有自适应性 每个单元均具有计算能力 能模拟生物神经系统对客观世界的交互反应 一种复杂的数学映射工具和动力学系统 人脑信息处理的特点 巨量并行性 信息处理和存储单元结合在一起 自组织学习能力 求满意解而不是精确解 有效处理各种模拟的、模糊的、随机的问题 人工神经网络的特点 非线性 输入－出映射 适应性 容错性（信息的分布表示） VLSI实现（运算的全局并行） 证据响应（决策置信度） 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer） 人工神经网络的别名 ANN与传统AI技术的比较 项目 传统的AI技术 ANN技术 基本实现方式 串行处理；由程序实现控制 并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制 基本开发方法 设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型） 定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境） 适应领域 精确计算：符号处理，数值计算 非精确计算：模拟处理，感觉，大规模数据并行处理 模拟对象 左脑（逻辑思维） 右脑（形象思维） 人工神经网络可以根据所在的环境去改变它的行为 不同的人工神经网络模型，有不同的学习/训练算法 自相联的网络：（Auto-associative） 异相联的网络：（Hetero-associative） 学习(Learning)能力 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。 泛化（Generalization）能力与抽象能力 基本特征的自动提取 信息的分布存储提供容错功能 由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。 系统在受到局部损伤时还可以正常工作。 并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。 信息的分布式存放 擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。 目前应用： 人们主要将其用于语音、视觉、知识处理、辅助决策等方面。 在数据压缩、