基于人工神经网络的文本分类的研究与实现资料.doc

基于人工神经网络的文本分类的研究与实现 摘要：本文研究实现了文本分类过程中的主要技术：中文分词、特征选择、文本向量化和分类器构造，并在广泛研究现有的文本自动分类的基础上，利用BP神经网络的联想记忆和预测能力，构建了基于BP神经网络的分类器。 主要设计思路如下：首先对所有文本进行分词、词频统计，并生成各文本的特征向量，然后利用TFIDF算法优化特征向量，对特征空间做降维处理；最后建立BP神经网络文本分类器并初始化网络，用训练语料库训练BP文本分类器，直到算法迭代结束，网络的训练满足一定的收敛条件。 关键词 文本分类；特征选择；BP神经网络 Based on artificial neural network in the research and implementation of text categorization Li Fei, JIAO Yue (School of Information Technology and Communication, Qufu Normal University, Rizhao 276826, China) Abstract This research achieves the main technology among the process of text classification, which include Chinese Word Segmentation, Feature Selection, the text to quantitative and Class Selection. And taking advantage of the associative memory and prediction ability of BP neural network. We structure the classifier based on BP neural network on account of the extensive research of existing automatic text classification. Main design idea is as follows: Firstly, we carry on the statistics of word segmentation and word frequency for all text, which generates a feature vector of each text. Then reduce the dimension of feature space by the improvement of feature vector making use of TFIDF arithmetic. Finally, establish text classification of BP neural network, initialize the network, train BP text classification applying the training corpus until the end of the iterative algorithm. The network training meets certain convergence conditions. Keyword: Text classification; Feature selection; BP neural network 1 引言 在过去的几十年中，随着互联网的飞速发展，各种电子文档的急剧增加，如何有效地检索和访问这些庞大的文档资源，已经成为信息系统学科急需解决的重要问题。文本分类就是解决这个问题的工具之一，它是指在给定分类体系下，根据文本内容自动确定文本类别的过程。从数学的角度看，文本分类是一个映射的过程，它将未标明类别的文本映射到已有的类别中。这样，用户不但能方便的浏览文档，而且能够通过限制搜索范围提高搜索效率。 目前，文本分类已经被应用在众多领域，包括Internet上的应用、电子邮件分拣中的应用、电子出版社的应用、网络安全中的应用、电话会议中的应用等等[1]。许多网站如Yahoo仍然是通过人工对Web文档进行分类，这大大限制了其索引页面的数目和覆盖范围。可以说研究文本分类有着广泛的应用前景[2]。总之，文本自动分类可节约大量人力和财力，避免人工分类带来的周期长、费用高、效率低等诸多缺陷。 2 人工神经网络 人工神经网络(Aneural Neural Network, ANN)是由大量简单的基本元件——神经元相互连接，通过模拟人的大脑神经处理信息的方式，进行信息并行处理和非线性转换的复杂网络系统。