神经网络期末报告剖析.doc

学习报告—— 基于信息论的神经网络模型 专业：计算数学 班级：数学二班 学号：152111033 姓名：刘楠楠本报告主要分为两个部分，第一部分主要是对神经网络做一个整体的论述，阐述神经元的模型基理和特点，第二部分则是利用信息论的知识来研究神经元信号传递过程中，在有外界噪声的干扰下，如何保证信息最终能够达到最大输出。第三部分列举了一个拟合图像的算例，用于对比不同算法对噪声的敏感程度。 1 神经网络概述 1.1人工神经网络的概念 人工神经网络（Artificial Neural Networks，ANNs），是人脑或自然神经网络对信息感知与处理等智能行为的抽象和模拟，是一种分布式并行处理系统，它具有自组织、自学习、自适应和非线性动态处理的特性。可以实现人脑的概括、类比和推广能力，因而可以从大量数据中提取所需要的信息，通过联想记忆和推理等能力来获取所需要的数据。目前，已经开发和应用的神经网络有30多种，比较典型的有以下几种：感知器（Perceptron），多层感知器（MLP），BP前向网络，Hopfield网络和竞争型（Kohonen）神经网络。可以说人工神经网络就是模拟人思维的第二种方式。 1.2?人工神经网络的工作原理及特点?? ??人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应 非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。人工神经网络首先要以一定的学习准则进行学习，然后才能工作,它反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别和过程控制。人工神经网络吸取了生物神经网络的许多优点，因而有其固有的特点： （1）高度的并行性? ??人工神经网络由许多相同的简单处理单元并列组合而成，虽然每个单元的结构和功能比较简单，但大量简单处理单元的并行行动，使其对信息的处理能力与效果惊人。? （2）高度的非线性全局作用? 当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。? （3）良好的容错性与联想记忆能力? 人工神经网络通过自身的网络结构能够实现对信息的记忆，所记忆的信息存储在神经元之间的权值中。从单个权值中看不出所存储的信息内容，因而是分布 式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、等模式信息处理工作：又宜于做模式分类、模式联想等模式识别工作。? （4）十分强的自适应、自学习功能? 人工神经网络可以通过训练和学习来获得网络的权值和结构，呈现出很强的自学习能力和对环境的自适应能力。 1.3人工神经元模型 作为NN的基本单元的神经元模型，它有三个基本要素： 一组连接（对应于生物神经元的突触），连接强度由各连接上的权值来表示，权值为正表示激活，为负表示抑制。 一个求和单元，用于求取各输入信号的加权和（线性组合）。 一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在（0,1）或（-1,1）之间）。 此外还有一个阈值，如图1所示 图形中的各个作用可用数学式子表示： 式中为输入信号，为神经元的权值，为线性组合结果，为阈值，为激活函数，为神经元的输出。 2 基于信息论的神经网络模型 2.1信息论简介 信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴横断学科。信息论创立标志是1948年Claude Shannon(香农)发表论文“A Mathematical Theory of Communication”。在这篇文章中香农创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。 1928年，哈特莱(Hartley)首先提出了用对数度量信息的概念。一个消息所含有的信息量用它的可能值的个数的对数来表示。 信息的度量方式主要有以下几种： 1.自信息：一个事件(消息)本身所包含的信息量，它是由事件的不确定性决定的。随机事件的自信息量是该事件发生概率的函数，并且应该满 足以下公理