神经网络技术原理篇.pdf

神经网络技术(原理篇) 余 友 波 (Michael Yu) 2002 年9 月 数据仓库之路原创资料 作者保留所有权利 神经网络技术(原理篇) 本文介绍了神经网络的信息处理原理、基本结构以及神经网络的数学模型，简单阐述了 神经网络如何进行学习和信息处理，并且通过例子说明神经网络的工作原理。希望通过本文 让数据挖掘爱好者对神经网络有初步的了解。 一、 人工神经网络 1.1 概述 人工神经网络近来越来越受到人们的关注，因为它为解决大而复杂的问题提供了一种相 对来说比较有效的简单方法。人工神经网络可以很容易的解决具有上百个参数的问题（当然 实际生物体中存在的神经网络要比我们这里所说的程序模拟的神经网络要复杂的多）。 “人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称A.N.N.)是在对人脑组织结 构和运行机智的认识理解基础之上，模拟其结构和智能行为的一种工程系统。早在本世纪40 年代初期，心理学家McCulloch、数学家Pitts 就提出了人工神经网络的第一个数学模型，开 创了神经科学理论的研究时代。 在80 年代中期人工神经网络得到了飞速的发展。1982 年美国加州州立理工学院物理学 家Hopfield 教授提出了Hopfield 人工神经网络模型，他将能量函数的概念引入人工神经网络， 并给出了稳定性的判据，开拓了人工神经网络用于联想记忆和优化计算的新途径。 人工神经网络模拟人类部分形象思维的能力，是模拟人工智能的一条途径。特别是可以 利用人工神经网络解决人工智能研究中所遇到的一些难题。人工神经网络模型发展到今日已 有百余种模型，建造的方法也是多种多样。 1.2 人工神经网络的信息处理原理 人工神经网络是由大量称为神经处理单元的自律要素以及这些自律要素相互作用形成 的网络。它是在多年来对神经科学研究的基础之上，经过一定的抽象、简化与模拟的人工信 息处理模型。 人工神经网络系统基础功能： n 学习能力：通过实践进行学习； mailto:yybo-rp@163.net 2002-9-25 - 1- 神经网络技术(原理篇) n 自适应能力：系统能适应外界的变化保持良好的性能； n 自组织能力：依据外部环境的变化进行自组织，自适应是通过自组织实现的； n 容错与自修复能力：对不完整的信息给出正确的解答，或者系统内部发生某些故障 时仍能达到良好的状态； n 输入输出能力； n 知识表示能力； n 模式存储、检索能力。 从数学的角度可以归纳为以下几个基础属性： n 非线性：人工神经元可以表述为激活和抑制两种基本状态，这就是一种非线性关系。 n 非局域性：人工神经网络系统是以人工神经元之间的相互作用表现信息的处理和存 储能力。系统的整体行为不仅取决于单个神经元的状态，而且取决于它们之间的相 互作用，用此来模拟大脑的非局域性。 n 非凸性：非凸性是指人工神经网络的演化过程在满足一定条件下取决于某特定函 数，而且该函数具有多个稳定点，这将导致在不同边界条件下得到不同的结果，这 就是系统演变的多样性。 n 非定常性；表现在人工神经网络具有自组织、自适应和自学习能力。 二、 神经网络的基本机理和结构 神经网络的基本组成单元是神经元，数学上的神经元模型是与生物学上的神经细胞对应 的。或者可以说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生物 细胞的。 很明显，生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。这样，神经元 的数学描述就必须以生物神经细胞的客观行为特性为依据。因此，了解生物神经细胞的行为 特性对于研究神经网络是必须的。神经网络的拓朴结构是以生物学解剖中神经细胞互连的方 式为依据。 mailto