其中 为学习速率代表学习步长；.PDFVIP

数据挖掘 第四章 分类与预测 ∂ 其中 为学习速率代表 学习步长； 可以通过公式（ ）计算得到。 ∂ 通常学习速率是一个较 小的常数。 （ ）重新规格化权重。由于权重 为概率值，因此它们的值必须在 和 之间 。而对于所有的 ，∑ 必须为 。所以在利用公 式（ ）获得权重 后 ，还需要对权重重新进行规格化 以满足上述要求。 由一些从训练数据和给定可观察到的变量中学习获得网络结构的算法，是一 个离散优化问题 。相关算法的有关资料可以在本书的参考文献 中查到。 神经网络起 源生理学和神经生物学中有关神经 细胞计算本质 的研究工作。所 谓神经网络就是一组相互连接 的输入输 出单元 ，这些单元之间的每个连接都关联 一个权重。在网络学习 阶段，网络通过调整权重来实现输入样本与其相应 （正确 ） 类别的对应 。由于网络学习主要是针对其中的连接权重进行的，因此神经网络的 学习有时也称为连接 学习。 鉴于神经网络学习时间较长，因此它仅适用于时间容许的应用场合。此外它 们还需要一些关键参数，如网络结构等；这些参数通常需要经验方能有效确定。 由于神经网络的输 出结果较难理解 ，因而受到用户的冷落，也使得神经网络较难 成为理想的数据挖掘方法。 神经网络的优点就是对噪声数据有较好适应 能力，并且对未知数据也具有较 好的预测分类能力。目前人们也提出了一些从神经网络中抽取出（知识）规则的 算法。这些因素又将有助于数据挖掘中的神经网络应用。 本节所要介绍的（神经网络）后传算法是八十年代初提出的。 小节将 要介绍多层前馈 网络，它是利用后传算法的一种典型神经网络； 小节将要 介绍神经网络结构的有关问题； 小节将要介绍后传算法； 小节将要介 绍如何从训练后 的神经网络中抽取出（知识）规则的有关方法。 一个多层前馈神经网络利用后传算法完成相应的学习任务 。如图- 所示就 是一个神经网络示意描述。其中的输入对应每个训练样本的各属性取值；输入 同 时赋给第一层 （称为输入层 ）单元 ，这些单元的输 出结合相应 的权重，同时馈给 第二层 （称为隐藏层 ）单元；隐藏层的带权输 出又作为输入再馈给另一隐层等等， 数据挖掘 第四章 分类与预测 最后的隐层结点带权输 出馈给输 出层单元 ，该层单元最终给 出相应样本的预测输 出。 输入层 隐含层 输 出层 w i ij j 图- 一个多层前馈神经网络的示意描述