中文文本分类的研究和应用.pdf

摘要 摘要 随着信息技术尤其是因特网相关技术的发展与成熟，人们可获得的信息越 来越多。面对海量信息，一方面是人们对快速、准确且全面获取信息的渴望， 另一方面却是信息的杂乱无序。而文本分类作为处理和组织大量文本数据的关 键技术，可在较大程度上解决信息杂乱问题，对于信息的高效管理和有效利用 都具有极其现实的意义，并已成为数据挖掘领域中一个重要的研究方向。本文 在分析和总结文本分类中文本表示模型、文本预处理、特征选择、特征加权、 分类方法和分类性能评价的基础上，对特征选择、特征加权进行了深入研究。 本文的主要研究工作如下： (1)针对文本分类中的高维特征空问和冗余特征问题，提出了一种基于类别 分布的特征选择，并与ECBF算法相结合，给出了一种二次特征选择方法。其 中，基于类别分布的特征选择方法可以较好的处理高维空问问题，并且对特征 集进行初步筛选，ECBF算法能够合理的衡量特征之问的冗余程度，用来处理特 征冗余问题。通过该二次特征选择方法不仅可以为文本分类选择合适的特征， 而且还可以减少大量的冗余特征，从而提高文本分类器的性能。 但)针对文本分类中的特征加权问题，本文首先详细分析了最经典也是常用 的估算特征权重的TF．IDF方法，发现TF．IDF只是能较好的表达一个特征词对 一个文档的区分能力，但是没有引入特征词区分一个类和其他类的能力的表示。 文本在研究朴素贝叶斯分类模型和TF．IDF特点后，提出一种改进的特征加权估 算方法。该估算方法有效的对各个特征词的类别区分能力给出合适的权重。 本文从文本分类的特征选择和特征加权两个方面，分别提出改进的方法， 在不同程度上提高了文本分类的性能。 关键词：文本分类，特征选择，特征加权，二次特征选择，TF．IDF，朴素贝叶斯 Abstract ABSTRACT Withthe and ofinformation the developmentmaturity technology,especially Intemet-related canobtainmoreandmoreinformation．Faced technology,people Witha of theone havea for information，on desirefast，accurate deluge lland，people and accesstoinformation．Ontheother inan comprehensive hand，informationstays andthuslooks a of and unexpectedways keytechnology disorderly．As processing text vast classificationcansolvetheinformationdisorder organizing data,text toa extent．Ithas realistic forefficient problemgreat very significance management and effectiveutilizationofinformation．Someintextclassificationare problems researched