一种基于蒙特卡罗模拟的神经网络分类器.pdfVIP

一种基于蒙特卡罗模拟的神经网络分类器} 杨斌聂在平 (电子科技大学电子工程学院610054) 摘要提高神经网络推广性的关键是控制模型的复杂度．本文给出了一种基于贝叶斯推理 的神经网络分类方法，通过融入模型参数分布的先验知识，与观察到的学习样本相 综合来控制神经网络模型中不同部分权参数的复杂度．使用马尔可夫链蒙特卡罗模 拟法获得模型权参数的后验分布，预测分类是基于多个分类模型输出的平均。文申 给出了在2个实际分类问题上的应用结果并与一些常规方法进行了对比。 关键词神经网络模式识别贝叶斯推理马尔可夫链蒙特卡罗模拟 提高神经网络模型推广性的关键是有效地控制模型的复杂度，如网络结构、模型自由度 数、网络权参数的幅值分布等。在目前应用较广、较有效的权衰减法中一个未解决的难题是 如何在具体问题应用中自动调整权衰减参数。贝叶斯推理llJ【2J为解决这个问题提供了一种有效 的思路和方法。在贝叶斯概率框架下将权参数和权衰减参数(超参数)视为不确定性随机变量， 使用显式的先验概率分布来表达这些未知变量的先验知识，依据获取的学习数据，将权变量 的先验分布假设通过贝叶斯推理加以调整创建出后验分布，对新输入数据样本的分类预测就 基于权变量的后验分布。通过定义权衰减超参数的模糊先验来控制模型权参数的未知程度， 达到显式表达和控制网络模型复杂度的目的。还可以通过对权参数进行分组，在各权组上使 用不同的公共超参数，允许模型在不同的部分具有不同的复杂度。本文给出了贝叶斯推理在 建立神经网络分类模型的具体实现方法及在二个实际分类问题上的应用结果和对比分析。 I贝叶斯神经网络 对于有聆个学习样本、K个类的分类问题，设所给定训练数据集D={‰桫I卢l，．．．∥，∞∈ 形ff∈∥)，其中fj是类的标号，当xieCkI对tki1；当Xi售Ck fki=o，lItl《=l。常用的正则 化神经网络模型中目标函数是带有一个附加项B、误差平方和为ED的正则化器： E=E。+舾足=∑∑(才叫。(‘，w))2+允∑∥ (1) f l J 式中w是网络中所有的权(包括单元阈值，共有Ⅳ个元素)组成的向量，n(‘，w)是样本Xi +基金项目： 国家自然科学基金资助项目 759 在输出层第k个神经元上的输出值，加权参数^就是权衰减参数，一般使用穷举法或交叉验证 法来多次实验确定，操作十分烦琐且要求很强的经验性和人为干预，如何自动确定权衰减参 数成为困扰该方法进一步实际应用的障碍。在贝叶斯概率框架下【11【2】，使用贝叶斯规则将网络 建模转化为权参数W后验分布的推理，而权衰减参数可自然地被视为模型超参数而得到 一致的、方便的处理。由贝叶斯定理推导出权参数后验分布P(wlD)为： 1 w—)．P(w) I D)：—P(D (2) P(w’ 。 一 尸(D) 式中户(们是关于权W先验知识的先验分布；P∞I叻是似然函数，对应于学习数据D上的 噪声过程模型；P㈣是一个归一化因子，可通过在权空间中积分计算出来。 一般认为性能好的网络模型是较简单的具有权个数较少、权幅值较小的模型，可假设权 的先验概率分布是一个呈模糊收缩的、均值为0的高斯先验分布： exp(一号莩矿) (3) 即㈨。赤eXp(峨)2丽1 这里Z矿(口)是归一化因子；超参数口是高斯分布中的精度(方差的倒数)，较大的口值就控 制着权在较小的幅度内变化。