三元XOR问题的神经网络学习32.pdfVIP

第 35卷 第3期 数学理论与应用 V0I．35No．3 i 2015年9月 MATHEMAnCALTHEORY AND APPUCATIONS Sep．2015 三元 XOR 问题的神经网络学习 赵 娣 田大钢 (上海理工大学管理学院，上海，200093) 摘 要 一个给定的神经网络能否学习一个给定的样本集一直是一个有趣的问题．对于单隐层前馈神经网 络 ，当隐层神经元的数量和样本的数量相等时，这个问题是平凡的．而对于隐层神经元的数量少于样本数量这 种情况，相关讨论还很少，值得更多的关注和研究．本文关于这个问题提 出了一种方法，并将其应用到三元 XOR问题 中，给出了一些初步结果． 关键词 前馈型神经网络 样本学习 三元XOR NeuralNetworksTrainingOntheTrinaryXoR ZhaoDi TianDagang (SchoolofBusiness，UniversityofShanghaiforScienceandTechnology，Shnaghai200093，China) Abstract Whetheragivenneuralnetworkcanlearnagivensamplesetisalwaysaninterestingproblem．Forsingle hiddenlayerfeedforwardneural networks，whenthenumberofhiddenlayerneuronsisequal tothenumberofsam- ples，theproblem hasbeendiscussedsufficiently．Fortheeasewherethenumberofhiddenlayerneuronsislessthan thenumberofsamples，thereisverylittlediscussionanditisworthytobereferred．Inthispaper，ageneralwayto considertheproblem isproposed，andsomeresultsaregivenofrthetrinaryXOR． Keywords Feedforwardneuralnetwork SampleLearnability TrinaryXOR 1 引言 标准单隐层前馈神经网络 (SLFN)模型一直是众多神经网络模型中最为常见和实用的模 型之一，因为它的结构简单，并能够以期望的精度近似任何连续的或者可测量的映射到样本集 上 ¨』．但是，对于SLFN也有很多需要解决的难题．一个基本的问题是，对于一个给定的样本 集，应该用多少个隐层神经元进行训练? 根据统计学习理论 I4j，为了使训练后的网络有好的推广能力，应该使网络的结构误差尽 可能小．对于单隐层网络而言，网络的结构误差主要由隐层神经元的数量决定 ，隐层神经元数 沪江基金(A14006)、上海市一流学科项 目(S1201YLXK)资助 收稿 日期 ：2015年5月22日 三元XOR问题的神经网络学习 65 量越小，其对应的结构误差也会更小(VC维更小)．所以，在网络训练中，应该用尽可能少的隐 层神经元来训练给定的样本集． 利用分组思想，Huang等[5—6]和 田大钢[7]讨论了隐层神经元的个数问题，涉及的是双 隐层网络 ]．近年来，极端学习理论得到了广泛的应用研究 J．这些研究中，对于如何确定输 入层与隐层的连接权问题，并没有很好的研究方法(通常利用演化算法)．也就是说，如何恰当 的确定输入层与隐层的连接权，以尽可能少的隐层节点学会尽可能多的样本，并没有得到充分 的研究．本文将结合分组方法和隐函数定理，给出这个问题的一种讨论方法．为了说明问题起 见 ，本文针对三元异或 (XOR)问题展示我们的方法． XOR(异或)问题一直是神经网络模型中样本学习问题的一个非常经典的问题．XOR问题 通常用来说明多层网络的作