单隐含层前馈神经网络结构选择研究-计算机应用技术专业论文.docx

I I 摘 要 摘 要 神经网络是功能强大的数据建模工具，已成功应用于求解分类问题和回归问题。结 构选择是神经网络研究的热点之一，针对具体问题，选择合适的网络结构对提高网络训 练的速度、增强网络的泛化能力至关重要。本文研究了单隐含层前馈神经网络的结构选 择问题，提出了两种网络结构选择方法。在第一种方法中，定义了隐含层结点的敏感度 概念，并用敏感度度量结点的重要性。该方法从一个隐含层结点个数较多的网络开始， 首先利用结点敏感度度量隐含层结点的重要性，然后按重要性对隐含层结点由大到小排 序，最后逐个剪去不重要的隐含层结点，直到满足预定义的停止条件。第二种方法和第 一种方法类似，用互信息度量隐含层结点和决策属性之间的相关性，将相关性小的隐含 层结点逐个剪掉。本文提出的方法不需要重复训练神经网络，得到的网络结构紧凑，具 有较高的泛化能力。实验结果显示本文提出的算法是行之有效的。 关键词 前馈神经网络 结构选择 敏感度 互信息 II II Abstract Abstract Neural Network is a power data modeling algorithm,it has been applied to classification problems and regression prolems.Reasearch on architecture selection of neural networks is one of the most important problems,suitable architecture is very significant to the performance of neural networks for specific problems.This paper proposed two methods for architecture selection of Single-hidden Layer Feed-forward Neural Networks.The first method defined the sensitivity as the significance of hidden nodes.The algorithm train a net with large number of hidden nodes,then order the hidden nodes by the significance and remove the least important node one by one until the pre-defined stop condition.Like the first method,the second one measure the relevancy between hidden nodes and classification,then prue the hidden nodes with low relevancy.The two proposed algorithms work without retraining the network and they can get network with compact architecture and good generalization. Keywoards Feed-forward Neural Networks Architecture Selection Sensitivity Mutual Information PAGE PAGE IV 目 录 目 录 第 1 章 绪 论 1 1.1 研究背景及意义 1 1.2 本课题国内外研究现状及分析 2 1.3 本文研究内容 5 第 2 章 基础知识 6 2.1 神经网络 6 2.1.1 神经网络的概念 6 2.1.2 神经网络的结构 7 2.2 单隐含层前馈神经网络 8 2.2.1 单隐含层前馈神经网络的结构 8 2.2.2 单隐含层前馈神经网络的学习过程 9 2.3 神经网络中的敏感性 11 2.3.1 敏感性 11 2.3.2 敏感性在神经网络中的经典应用 12 第 3 章 基于结点敏感度的单隐含层前馈神经网络结构选择 14 3.1 概率单隐含层前馈神经网络 14 3.1.1 概率单隐含层前馈神经网络结构 14 3.1.2 概率单隐含层前馈神经网络 14 3.2 基于结点敏感度的单隐含层前馈神经网络结构选择 15 3.3 实验情况 16 第 4 章 基于互信息的单隐含层前馈神经网络结构选择 21 4.1 互信息 21 4.1.1 熵和互信息