人工神经网络变量取和隐藏单元数确定.pdf

第 22 卷第 6 期 统 计 与 信 息 论 坛 2007 年 11 月 Vol. 22 　No. 6 Statistics Information Forum Nov. ,2007 【统计理论与方法】 人工神经网络变量选取与隐藏单元数的确定 谢远涛 ( 中国人民大学 统计学院 ,北京 　100872) 摘要 :根据多隐藏层所有训练样本误差平方和最小设计优化问题 ,求解并绘出计算流程图。Trevor 等人 ( ) 认为隐藏单元过多比过少好 ,交叉验证估计 隐藏单元 正则化参数没有必要。还有一种通常做法是常常利用 分类树挑选变量作为输入变量进行人工神经网络建模。而从人工神经网络与多元统计、传统回归和其他数据 挖掘工具的区别和联系出发 ,认为这些观点和做法值得商酌 ;用 ZIP 编码实例说明隐藏单元过多不一定比过 少好 ,实际数据分析中所需隐藏单元数的确定可以用交叉验证结合经验判断来实现 ,利用分类树选择的变量 对于人工神经网络没有太大的效果 ;通过分类树删节变量以降低计算量的效果不如通过压缩隐藏单元个数 降低计算量来得好;非完全问题“从简单到一般”思想与完全问题中选择所有变量的思想不矛盾。在总结了 Le Cun等人的局部联结以有效降低权数思想的基础上 ,提出通过随机选择人工变量建立人工神经网络分布式 模型系统的设想。 关键词 :人工神经网络 ;BP 算法 ;统计学习 ;数据挖掘 ;分类树 ( ) 中图分类号: F224. 33 　　文献标识码 :A 　　文章编号 :1007 - 3116 2007 06 - 0009 - 07 尽管神经网络模型发展了很多年 ,但是在变量 一、引　言 选取、隐藏单元确定、拟合与预测的兼顾方面还是有 1940 年 , 科学家即着手从事人工智能研究。 许多悬而未决的东西 ,许多方面都是由建模者主观 1943 年神经生物学家 McCulloch 与数学家 Pitts 合 确定的。 作提出了 MP 模型 ,1949 年又提出了 Hebb 学习规 二、理论简介 则 ;50 年代 Rochester 和 Holland 通过网络吸取经验 来调节强度 , 以这种方式模拟 Hebb 的学习规则并 图 1 中左图反映了人工神经网络的架构特征。 取得成功 ;1958 年 Rosenblatt 利用学习机制推广了 在建立人工神经网络模型之前 ,常用分类树辅助选 MP 模型 ,提出感知器模型 ; 1974 年Werbos 提出了 择变量 ,减少运算量。然而 ,正如后文将要揭示的 , BP 理论以及反向传播原理 , 同年 , Stein 、Lenng 、 这又是以牺牲拟合效果和预测能力为代价的。人工 Mangeron 和 Oguztoreli 提出了连续的神经元模型 ; 神经网络在通过隐藏层实现非线性运算并取得较好 之后 Kohonen 提出了自组织映射网络模型 ;1982 年 拟合效果的同时却又丧失了可解释性 , 因此则往往 Hopfield 建立了一组非线性微分方程 Hopfield 神经 结合因子分析进行因子旋转来获得可解释性。利用 网络模型 ,并于 1982～1986 年提出了神经网络集体 组合函数来汇总输入变量的特征 ,再通过转移函数 运算功能的理论框架 ;90 年代初 ,诺贝尔奖获