一种深度学习信息文本分类算法.docVIP

一种深度学习信息文本分类算法 　　摘要：针对传统文本分类算法准确率低和正确率分布不均匀的问题，提出了基于深度学习的文本分类算法。深度信念网络具有强大的学习能力，可以从高维的原始特征中提取高度可区分的低维特征，不仅能够更全面的考虑到文本信息量，而且能够进行快速分类。采用TFIDF方法计算文本特征值，利用深度信念网络构造分类器进行精准分类。实验结果表明，与支持向量机、神经网络和极端学习机等常用分类算法相比，该算法有更高的准确率和实用性，为文本的分类研究开拓了新思路 关键词：文本分类；深度信念网络；分类器 DOI：1015938/jjhust201702020 中图分类号： TP181 文献标志码： A 文章编号： 1007-2683（2017）02-0105-07 Abstract：Aiming at the problem of low categorization accuracy and uneven distribution of the traditional text classification algorithms， a text classification algorithm based on deep learning has been put forward Deep belief networks have very strong feature learning ability， which can be extracted from the high dimension of the original feature， so that the text classification can not only be considered， but also can be used to train classification model The formula of TFIDF is used to compute text eigenvalues， and the deep belief networks are used to construct the classifier The experimental results show that compared with the commonly used classification algorithms such as support vector machine， neural network and extreme learning machine， the algorithm has higher accuracy and practicability， and it has opened up new ideas for the research of text classification Keywords：text classification； deep belief network； classifier 0引言 文本分?是根据提前建立好的分类器[1-2]，让计算机对给定的未知类别的文本集进行分类的过程[3]。一个完整的文本分类过程主要包括以下几个部分：首先是文本预处理，将文本表示成易于计算机处理的形式；其次是文本向量表示；再次是根据训练集（具有类标签）学习建模，构建出分类器；最后利用测试集测试建立好的分类器的性能，并不断反馈、学习提高该分类器性能，直至达到预定的目标 常用的文本分类算法包括SVM（support vector machine，支持向量机） [4]，BP（back propagation） 神经网络[5-6]、ELM（extreme learning machine，极端学习机）算法[4]等[7]，这些方法往往存在着有限样本或局部最优及过学习问题[2]，并且这些方法为了避免维度灾难通常对数据做降维处理，此时得到的结果并不能很好的反应文本的特征，最终导致分类准确率低下。因此，本文主要研究如何文本分类的准确率和效率 目前国内对于文本分类的研究比较少，因此如何提高文本分类的准确率，是一项重要的研究内容[8] 深度学习是通过构建具有多个隐层的机器学习模型组合低层特征形成更加抽象的高层特征来表示属性类别，以发现数据的分布式特征[9]。深度学习具有很强大的自我学习挖掘特征的能力，可以得到最接近数据本质的表达和模式，能够极大的提高预测、分类等性能[10]。2006年，Geoffrey Hinton提出深度信念网络（deep belief network，DBN） [11]。它是一种概率生成模型，通过训练其神经元间的权重可以让整个网络按照最大概率来生成训练数据，