第一课 概述 人工神经网络理论及应用 培训资料.ppt

反馈型神经网络 u (t) y (t) 人工神经网络理论及应用 屈桢深 哈尔滨工业大学 1. 概述 主要内容 引子：神经网络特点 发展历史 应用 模型、结构与学习算法 关于课程 神经网络特点——引子 一小段视频 (“The Matrix”, 1998)； 问题：机器是否能模拟人的思维？ 如果有一天，机器能够模拟人的所有感觉电信号，并且具有决策判断能力，那么如何定义“智能？” 生物神经网络特点 分布存储，容错性 并行处理 信息处理和存储二合为一 自组织性和可塑性 层次与系统性 信息按内容分布于大量的神经细胞之中，每个神经细胞存储着多种不同信息的部分内容； 信息的记忆反映在神经元的连接强度上； 网络各部分对学习和记忆具有等势作用，即使个别信息出错，完整信息仍能恢复。 人脑平均每天有10～40万个神经细胞死亡，但不影响人的记忆和处理功能 生物神经网络特点I——分布存储与容错性 人脑在生长的过程中具有良好的可塑性； 不同能力发展：语言，运动，推理； 大脑可通过内部神经网络的自组织、自学习能力不断适应外界变化。“熟能生巧”反映的就是自组织能力。 e.g. 反复从事一项工作时，工作的各项技术特征就会“融化”在大脑的神经元中，随着工作的反复进行，提高神经元对这些技术特征及操作要领的灵敏度 生物神经网络特点IV——可塑性与自组织性 结构极为简单的神经元，通过系统的组合功能效应，完成复杂的信息处理； 大脑对信息的处理分层次进行：初级皮层-颅顶区皮层-脑前额叶； cmp 数字计算机存储／计算均为线性关系，不存在层次性。 生物神经网络特点V——层次与系统性 人工神经网络——介绍 人工神经网络 (ANN) 是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。 人工神经网络 信息处理由人工神经元间的相互作用来实现，由联接权来传递，具有学习能力、自适应性、联接强度的可变性。 　神经网络是人脑的抽象、简化和模拟，反映了人脑功能的若干基本特征： 网络的信息处理，由神经元间的相互作用实现，具有并行处理的特点； 知识与信息的存储，表现为神经元间分布式的物理联系； 网络的学习和识别，决定于神经元联接权系数的动态演化过程； 具有联想记忆特性。 人工神经网络特点 神经网络发展历史：产生和初步发展 核心：对人类神经系统的模拟 萌芽：19世纪末~20世纪初神经生理学； 创始： 1943年，McCulloch和W.Pitts，提出NN数学模型； 1949年， Hebb规则 初步发展： 1958年，Rosenblatt 感知机和联想学习 1960年，Widrow和Hoff ADALINE学习算法 停滞期 1969年 Minsky “Perceptron” XOR问题 缓慢发展期 二十世纪七十年代 1976 Grossberg ART 1972 Kohonen SOM 福岛邦彦 Cognition 中野馨 AMM 原因：理论问题和实现问题 同期相关理论： Marr视觉计算理论和Poggio初级视觉 神经网络发展历史：缓慢发展 神经网络发展历史：复兴期 标志：1982 Hopfield解决TSP问题 1986 Rumelhart和McClelland BP 计算机的大众化和计算技术的迅速普及 新型神经网络提出 RBFN FNN Hopfield网络 Boltzman机 神经网络应用 在各个行业均有应用，擅长的有： 模式识别 人工智能 控制工程 优化分析和联想记忆 信号处理 神经网络应用——模式识别 模式识别本质上是一种分类操作。NN应用包括 图像处理 语音识别 雷达及声纳信号识别 药物构效关系 分子与生物DNA 神经网络应用——人工智能 模拟人的推理判断过程，NN应用包括 自然语言理解：自动翻译，输入法 模拟专家医学诊断 市场/股票分析 故障诊断 博弈：政策，下棋 神经网络应用——控制工程 完成复杂非线性对象的控制，NN应用包括： 模型辨识 自适应控制：控制器自适应改变 改进PID控制：自动调整PID参数 鲁棒控制 模糊控制：模糊神经控制 神经网络应用——优化计算 用于在大量、复杂的搜索空间内寻找最优解 系统规划 组合优化 智能交通管理 货物调度 航班分配 神经网络应用——信号处理 主要用于自适应信号处理，NN应用包括 自适应滤波； 自适应编码； 系统辨识(和控制领域交叉)； 故障诊断(和人工智能领域交叉)； 信号估计和特征提取 弱信号检测 神经网络应用——应用领域(1) 航空航天：自动驾驶仪，部件故障检测 汽车：自动驾驶系统，故障检测 银行：风险评估，投资预测 武器工业：指导，目标跟踪与识别，雷达 金融业：有价证券交易，决策支持 制造业：缺陷检测，生产过程控制，优化 保险业：政策