数学神经网络(v)——某些数学方法的神经网络表示.docxVIP

1997 年 12 月 北京师范大学学报(自然科学版) De也. 1997 第 33卷第 4 期 Journal of Beijing Normal Univen;ity 例atural Scien?) Vol. 33 No.4 数学神经网络 (V) * 一一某些数学方法的神经网络表示 李洪兴 (北京师范大学数学系， 1α览75，北京 43 岁，男，教授) 摘要 继续研究数学神经网络，这里提出一种观点:人工神经网络可以作为数学的一种可视化手 段.首先用例子指出几种熟知的数学方法可以用神经网络表达，然后讨论了线性规划、多目标线性规 划、模糊线性规划以及模糊关系方程的神经网络形式. 关键词 神经网络;数学神经网络;线性规划;模糊线性规划;模糊关系方程 分类号 1P387 问题的提出 回顾文献 [1 -4] 的内容，我们会产生这样一种观点:在一定意义下，人工神经网络可以表达某些数学形式、数学方法或数学结构，换言之，人工神经网络可以作为数学的一种可视化于段.仔细研究和发展这种可视化手段，会使人们至少在三方面受益:其一，为人工神经网络的研究寻找成熟的数学方法或创造有效的数学方法;其二，如果把某些数学形式或结构归结为某种人工网络形式，那么可以为某些没有直观背景的数学形式或结构找到一定意义下的实际背景或源泉;其三，为数学开辟一条新的通向应用领域的道路，在这条道路上来回穿梭，如果能发现类似于有限元那样的实用方法将是些了不起的事情. 现在我们来看几个简单的例子，旨在悟出其中的一些道理. 但u 泰勒 (Taylor)展开式的人工神经网络表示. 给定函数 f(χ)、满足条件: f(功，1(χ)， f气功，…， pn}(x) 在闭区间 [a， b] 上连续 pn+I}(χ) 在 开区间仙， b) 内存在.构造一个单输入 单输出的 2 层前向式泛函联接 [3] 神经网 络(见图1). 该网络中诸神经元的激发函数均取 恒等函数，第 1 层的诸神经元的阔值均 取 0，第 2 层神经元的阔值取为一f(a); _f气α) ... ... _ pn}(a) \Q WI=1(时，叫一一一，…， wfL」立 n! 于是该网络的输出为: 图 l 表示泰勒展开式的人工神经网络 *国家自然科学基金 和北京师范大学跨世纪优秀学科带头人培养基金资助项目收稿日期蜘 10 仍 428 北京师范大学学报(自然科学版) 第 33 卷 Y=LWμ-a)一(-f(a)) = f(a) +f (a)(x-a)+ f飞α) (.. _\2 , ___ jn)(a) 丁「伊 -a)2+---+I 气严 (x-a)n叮(x)  显然该式是忽略余项的泰勒展开式，近似地等于给定的函数 f(x). 特别是当 a=O 时，图 l 表达了忽略余项的马克劳林 (Maclaurin)公式. ① 注 文献 [1]引入了一般的激发函数(已把阔值吸收其中) ，按照这样的观点，泰勒展开式可 表示为图 2 的形式. ④ 该网络中诸神经元的激发函数规定 ④ 为:φo(χ均)f(a功)， φμ)=χ一矶α， ψρ)=(伊χ一啡a)2， ④ …丁， φnCωχ叽均价)=(χ伊一a)旷， φ叫(仙u)=u叭;诸权值规 附 定肋胁为来: 叫r州=斗吨，1川， ④ @ 卜 n j卢吃轨帕叫时叮)(a叫归) ① 到 W = ----.-一.于是，该网络的输出为: n! 则 斯 图 2 按激发函数设计的泰勒展开网络 时n 4 边明的 一 络示侃 丁 阴 俨 尔 U 表 仆 汇 计 ω J 。旷 户 二 十 例 维 逼 人D 图 图 3 维尔斯特拉斯第一逼近定理的网络形式 该网络中诸神经元的激发函数规定为:φlx)=∞日，的(x)=∞s2x， …，叽(x)=∞snx; 收μ)= smx，收μ)=sin匀，…，队(χ)=sinnx; h l h2 , g 均取恒等函数.第 2 层神经元的阔值为 0，第 3 层神经元的阔值取为 -ao肌肉与 bk， k=l , 2, … , n， 均为权值.这时，网络的输出为: T,. (x )=汇帆(x)+丈bkt/lk(X) 一(_ ~o )=旦旦+艺(a ∞山+柳州 (2) ~~k lk\~J~Vk lk\~J \ 2 J2 ~\~k 这恰好是维尔斯特拉斯第一逼近定理中的三角多项式.该定理是说，给定以 2π 为周期的连续函 f(x) 及任意正数10，存在一个形如图 3 的神经网络，使得 If(x)- T,. (x) 11 在整个数轴上一致地成立. 第 4 期 李洪兴:数学神经网络 (V) 429 线性规划的人工神经网络表示 4 是一个具有 m+l 个神经元 X 的单层前向式神经网络，神经元儿， f1 …，儿的激发函数帆，叭，…，仇均 X 2 -