一种数值属性的深度置信网络分类方法-论文.pdfVIP

112 2014，50(2) ComputerEngineeringandApplications计算机工程与应用 一 种数值属性的深度置信网络分类方法 孙劲光 ，蒋金叶 ，孟祥福 ，李秀娟 SUNJinguang，JIANGJinye。，MENGXiangfu，LIXiujuan 1．辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105 2．辽宁工程技术大学 研究生学院，辽宁 葫芦岛 125105 1．SchoolofElectronicsandInformationEngineering，LiaoningTechnicalUniversity,Huludao，Liaoning125105，China 2．InstituteofGraduate，LiaoningTechnicalUniversity,Huludao，Liaoning125105，China SUN Jinguang，JIANG Jinye，MENG Xiangfu，eta1．DBN classificationalgorithm fornumericalattribute．Computer EngineeringandApplications，2014，50(2)：112-115． Abstract：DeepBeliefNetwork(DBN)isadeeparchitecutrethatconsistsofseveralRestrictedBoltzmannMachines (RBM)．GenerallytheinputsofRBM arebinaryvectorwhichleadstotheinformationlossandinturndegradestheper- formanceofclassification．Fortheproblem above，aDBN classificationalgorithm fornumericalattributeisproposed throughscalingtheinputintotheintervalbetween0and1withaddingnoisetosigmoidunits，andachievingclassification withoneGaussianhiddennodeonthetop—levelRBM ．DBN canbeusedasfeatureextractionmethodaswellasneural networkwithinitiallylearnedweights．DBN shouldhaveabetterperformancethanthetraditionalneuralnetworkdueto theinitializationoftheconnectingweightsratherthanjustusingrandomweightsinneuralnetwork．Experimentsconducted onthedatasetfrom UCIshow thattheproposedalgorithm hasabetteraccuracythanthetraditionalclassificationalgo- rithm likeSVM ． Keywords：numericalattribute；classification；DeepBeliefNetwork(DBN)；associatememory 摘 要：深度置信 网络是个包含多个受限玻尔兹曼机的深层架构。针对深度置信 网络分类时由于受限玻尔兹曼机 的输入一般是二值向量而造成的信息的丢失从而使分类效果降低的问题，提 出了通过在sigmoid单元中增加噪声来 将输入缩放到[0，1]区间，使用带有一个高斯隐藏节点的顶层受限玻尔兹曼机实现分类功能的一种数值属性深度置 信 网络分类方法。深度置信网络和受限玻尔兹曼机可以作为特征提取方法也可以认为是带有训练的初始权值 的神 经网络。由于连接权值的初始化而不仅仅是神经网络的随机权值 ，深度置信 网络分类应该比原有的传统的神经网 络分类拥有更好的性能。在UCI的多个数据集上进行对比验证，实验结果表明深度置信网络分类方法比传统的 SVM算法拥有更高的准确性。 关键词：数值属性；分类；深度置信 网络；联想记忆 文献标志码：A 中图分类号：TP391 doi：10．3778~．issn．1002．8331．1308．0377 1 引言 多层网络的典型算法 ，而实际上对于仅包含几层网络， 当前多