大样本法确定BP网络结构.pptVIP

§ 8.6 大样本法确定BP网络结构 8.6.1 隐含层节点数的确定 定义1：设将样本分为两部分即 ，则有 （8-66） 式中， 是训练样本的平均值， 是n个样本的平均值； 是n1个训练样本的方差， 是n2 个监测样本的方差。 定义2：取隐含层节点数为L，用n1 个样本训练好网络后，计算样本训练误差，然后用n2个样本进行检测计算样本检测误差，如果，二者相等，则L为三层BP网络隐含层节点数的优化值。 8.6.2 计算步骤 应用大样本确定BP网络拓扑结构的计算步骤如下： （1）按照随机先后去原则，将样本分为相等的两个部分，其一部分作为训练样本，另一部分作为检测样本。 （2）置隐含层节点数L为L0，增加量为d，并对网络初始化，给定网络学习参数初始值。 （3）对输入层节点和隐含层节点间权重值及隐含层节点间权重值赋随机初值得到初始权矩阵。 （4）用BP网络智能训练算法来训练网络，直至学习精度达到要求或者超出规定的迭代步数。 （5）若在规定的步数之内训练样本误差达到了学习的精度要求，转到步骤6；若达到规定的迭代步数时，网络任然不收敛，给隐含层节点增加d个节点并保持原来的L0个隐含层节点的输入、输出权值和参数值不变随机初始化增加的d个节点的参数和权值；重置L转到步骤4。 （6）按照极差正规化方法，将检测样本进行数值归一化处理后变为[0.1,0.9]区间内，然后将检测样本输入训练后的网络，计算样本检测误差。 （7）若样本的检测误差和训练误差在允许范围内，转到步骤8；否则给隐含层节点增加d个节点，并保持原来L0个隐含层节点的输入与输出值和参数保持不变，随机增加d个节点后，重置节点数，转到步骤4。 （8）按照8.4节讲的相关系数法，检测隐含层节点的线性相关性，进行隐含层节点的删除和合并，并且获取隐含层最佳节点数，结束网络训练。 §8.7 训练样本的质量对BP网络推广能力的影响 8.7.1 预报误差和训练样本质量之间的关系 实际系统可以描述为理想函数 （8-71） 上式，也可以写成自回归的形式 （8-72） 人工神经网络是一种非线性自回归模型 （8-73） BP网络预报的误差可以估计为 （8-74） 和 的存在是不可避免的，而 可由式（8-72）和式（8-73）作出如下估计 （8-75） 式中， 为函数误差，也就是式（8-72）和式（8-73）间的差异引起的误差； 为由不正确的嵌入维数引起的误差，它可以通过选择合适的输入神经元数来消除。 （8-76） 在BP网络预报中， 是由网络中结点间的连接权值决定的，而权值又是BP网络通过对训练样本的学习得到。 8.7.2 一致度 为了评价训练样本质量，我们基于范数提出“一致度”的指标。这种一致度指标被称为伪距离一致度，并定义 （8-78） 为了简便地评价样本矢量，可用一些统计指标定义一致度指标。 （1）均值一致度 基于统计均值定义的DCT指标称作均值一致度 （8-80）