基于深度信念网络的文本分类算法.pdfVIP

2015年 第 24卷 第 2期 http：／／www．c-S—a．org．cn 计 算 机 系 统 应 用 基于深度信念网络的文本分类算法① 陈器平 (同济大学 计算机软件与理论系，上海 201804) 摘 要：随着网络的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术．目前已经有许多不同类型的 神经网络应用于文本分类，并且取得 良好的效果．但是，大部分模型仅采用文档的少量特征作为输入，没有考虑 到足够的信息量；而当考虑到足够的特征时，又会发生维数灾难，导致模型难以训练或者训练时间大幅增加．利 用深度信念网络从文本中抽取特征，并利用 softmax回归分类器对抽取后的特征分类．深度信念网络不仅具有强 大的学习能力，同时还能从高维的原始特征中抽取低维度高度可区分的低维特征，因此利用深度信念网络来对 文本分类，不仅能够考虑到文档的足够的信息量，而且能够快速的训练．并且实验结果也表明利用深度信念网络 实现文本分类的性能很好． 关键词：文本分类；受限玻尔兹曼机；深度信念网络；sofimax回归分类器；文本特征． TextCategorizationBasedonDeepBeliefNetwork CHEN Cui-Ping (DepartmentofComputerScienceandTechnology,TongjiUniversity,Shanghai201804，China) Abstract：W iththerapiddevelopmentofthenetwork,textcategorizationhasbecomeakeytechnologyinprocessingand organizinglargetext．Therearealreadymanydiffreenttypesofneuralnetworksappliedtotextcategorizationnadachieve gOodresults．Howevre,mostofhtedocumentmodelsuseonlyasmallamountoffeaturesasinputwhichdon’ttakeinto accounthtesufficientma oun tofinformation．Consideringenoughcharacteristics，htedimensionsofhtedisasterwilloccur, andresultinginasubstantialincreasetrainingtime，difficultynitraininghtemode1．Th ispaperconsidersusnigdeepbelief networks toextractfeaturesfrom htetext,htenusing soflraaxregressionclassifierforclassification．Thedeepbelief networksnotonlyhasahihg learningabiliyt,butalsocallextracthighlydistniguishableandlow-dimensionalfeaturesfrom hteoriginalhigh-dmiensionalfeatures．Sotakingadvnatageofhtedeepbeliefnetworks toclassifyhtetext,cantakeinto accountenoughinfomr ationdocmu entma ount．Andhteresultshowshtathteuseofdeepbeliefnetworksachievegood performna ceofrtext categorization． Keywords：textcategorization；restrictedboltzmannmachine；deepbe liefnetwork；soRmaxregressionclassifier；feature． 1 引言 广泛的应用．文本分类 的方法有很多，典型的有朴素 随着信息技术的发展，互联网数据及资源呈现海 贝叶斯分类器 l【J、k最近邻(心N，k-NeraestNeihgbor) 量特征．基于内容的信息检索和数据挖掘逐渐成为备 算法 【、用支持 向量机 (SVM)t】建立 的分类器