神经网络数学基础-医学课件.pptVIP

如果某个变换有n个不同的特征值，则可以保证得到该变换n个线性无关的特征向量，因此特征向量组成变换的向量空间的一个基集。 * 性能曲面和最优点 介绍的是一类称为性能学习的神经网络训练的基础知识。神经网络有几种不同类型的学习规则，如联想学习(Hebb学习)和竞争学习。性能学习是一类重要的学习规则，其目的在于调整网络参数以优化网络性能。主要目的是研究性能曲面，并确定性能曲面存在极大点和极小点的条件。 * 性能优化 这种优化过程分两个步骤进行。第一步是定义“性能”的含义。换言之，需要找到一个衡量网络性能的定量标准，即性能指数，性能指数在网络性能良好时很小，反之则很大。优化过程的第二步是搜索减小性能指数的参数空间(调整网络权值和偏置值)。 * 泰勒级数 假定性能指数是一个解析函数，它的各级导数均存在。 * * 向量的情况 神经网络的性能指数并不仅是一个纯量的函数，它是所有网络参数(各个权值和偏置值)的函数，参数的数量可能是很大的。因此，需要将泰勒级数展开形式扩展为多变量形式。 * * * 方向导数 * * 最大斜率在什么方向上?当方向向量与梯度的内积最大时斜率最大，故当方向向量与梯度同向时会出现最大斜率(注意方向向量的长度对此没有影响，因为它已被规格化)。 * 极小点 * * * * go 神经网络的数学基础 * 信号和权值向量空间 将神经网络的输入、输出以及权值矩阵的行作为向量看待是非