模式变换与前向网络训练.pdfVIP

第18卷 第3期 计 算 机 仿 真 23／01年5月 模式变换与前向网络训练 张军英 12 陈森林 石美红 (1，2西安电子科技大学计算机学院；1西安电子科技大学电子工程研究所，710071；3西北纺织工学院信控系计算机与技术专业教研室 摘要 前向网络在用于模式分类时，其网络的有效训练一直是一十受到关注的问题 。本文首先提出模式的可逆线性变换不 改变网络的结构．而组成可遵线性变换的错切变换舍在一定程度上改变网络训练的难度 ．从而提出了对模式进行适当错切 变换可 有效改变网络illl练难度提高网络iJIl练效率的方法 文末对所提出方法的实验结果也证明了这一点 关键词 可逆线性变换 模式分类 网络分类难度 中圈分类号 TP391 文献标识码 ^ l 引言 则 人工神经网络方法作为模式分类与识别的一种重要方 Yj= + ) 法之一，有着十分广泛的应用，目前 已在语言识别、自动控 故若设 A_ = ．，则若网络 能实现对样本点集的正确 制、故障诊断 、目标识别等许多领域有成功的应用例子 l【： 分类，对样本点集进行 =AX的可逆线性变换后．网络 Ⅳ 目前已有大量文献讨论对前向网络 的有效训练 问题-．]J，其 仍能实现对该样本点集的正确分类，所不同的只是网络的参 中基本上都集中在对训练算法的改进和提出新的训练算法 数不同，从 变为 ，因此对模式的可逆线性变换不改变实 上。本文别是从不同角度出发，通过对训练模式进行适当变 现分类的网络 的结构。这里网络 的结构即指网络 的臆层数 目 换 的预处理 ，以减小实现模式分类和识别 的前向网络 的训练 和每个臆层 中稳层神经元 的数 目，而 网络 的输入 已经由需要 难度：本文首先讨论 网络 的结构不变性 问题 ，即对输入模式 分类的模式样车 的维数确定．网络的输出已由所需要分类 进行可逆线性变换不改变实现该模式分类 的前向网络 的结 的类别数 目确定 。 构；并进一步对可逆线性变换的性质加以讨论，指出它是伸 既然对模式的可逆线性变换不改变实现分类 的网络的 缩变换和错切变换的组合，而其中的错切变换可以有效地改 结构 ，在已知一个模式样点集确实能用一个 固定结构 的前向 变模式分类的难度；最后我们提出了通过对模式进行适当的 网络实现分类的前提下，对模式样点集进行怎样的可逆线性 错切变换提高网络训练效率的方法，实验结果验证了这种方 变换可以使得网络训练的难度降低，从而有效地提高网络的 法的可行性 。 训练速度呢?这就需要我们认识网络 的分类难度 从极限的 情况讲 ，每个隐层神经元的sigmoid函数都可看作是硬限幅函 2 网络的结构不变性和模式分类难度 数 的近似 ，那么第一隐层 中的每一个隐层神经元所实现 的是 对n维空间的点 = (】，2，…， )，将其作为输入时， 对输入空间模式样本点集 的线性分类 ，它所实现的相当于 n 网络 Ⅳ第一臆层 的第J个隐层神经元的输 出为 维空间中的一个分类超平面，如图1(n)所示的模式样本点集 分二类的问题，网络的第一隐层共用了3个臆层神经元，这样 = ∑ +) 如果两类模式的样点靠得越近，实现这两个样点分类的分类 j=I 超