基于特征选择和特征加权算法的文本分类分析-text classification analysis based on feature selection and feature weighting algorithm.docxVIP

摘 要随着互联网这一新型的信息传播方式的迅速普及，人们不仅可以轻而易举地获得全世 界你想要的信息，还可以向全世界传递你所拥有的信息，人们在互联网上可获取的信息资 源呈现爆炸式增长。同时，随着平板电脑、智能手机等网络终端的推出，以及各种社交网 络的出现，如人人网、微博、微信、各种招聘网站和各种婚恋网站等等，更大大加快了互 联网上数据信息增加的步伐。人们每天都会在这些应用上不断更新着各种各种的数据，文 字、图片、视频信息等。有数据显示，互联网上每天都会有指数级的信息数据出现，人们 已经处在一个信息极为膨胀的年代。面对这样如此庞大的信息资源，如何对其进行有效合 理的管理，使人们获取目标信息更为方便快捷，已经成为研究的热点。而文本挖掘中的文 本分类技术有效的解决了这一问题。文本分类是一项非常复杂的工程，本文在对其各个流程进行仔细了解分析之后，重点 研究了特征降维和特征加权两方面的过程。经过文本预处理后的文本被表示为一个具有高维度和稀疏性的特征项向量空间，这不 但增加了分类的时间复杂度和空间复杂度而且还大大影响到分类的精度。特征降维可以有 效地解决这一难题，包括特征抽取和特征选择两种。相比较之下，特征选择算法因其过程 比较简单，且可以取得比特征抽取算法更理想的降维效果，在文本分类系统中受到广泛应 用。本文首先简要介绍了几种传统的特征选择算法，其中重点介绍被学者证明特征选择效 果比较好的信息增