DICV文本分类研究框架.pdfVIP

维普资讯 情 报 学 报 ISSN1000—0135 JOURNALOFTHE CHINASOCIETY FOR SCIENnFIC AND TECHNICALINFORMATION ISSN 1000—0135 第26卷第6期803—807，2007年 12月 Vo1．26 No．6，803—807 December 2O07 DICV文本分类研究框架 李 纲 夏晨曦 (武汉大学信息资源研究中心，武汉 430072) 摘要 文本分类实验包括实验文本集准备、文本索引、特征降维、分类以及性能评估等多个步骤，每个步骤都有 很多方法可供选择，而每个不同的选择都会对最终的实验结果产生影响。比较同一步骤中适用的不同算法的性能 时，需要保证其他步骤使用相 同的方法 ，使它们在相同的条件下运行 。本文提 出了文本分类的DICV研究框架 ，该 框架包括核心数据 (coredata)、文本索引(textindexing)、分类算法 (classificationalgorithm)和可视化界面 (visualization interface)4个模块 。该框架设计的重点在于：①提炼一个统一的文本分类模型，为每个步骤 的算法提供一个接 口， 实现了这个接 口的算法就可以通过简单的配置应用于框架中，这使得研究者可以方便地选择各种文本索引、特征 降维和分类算法，或添加新的文本集和算法 ，来完成其需要的文本分类实验。② 自动记录文本分类实验各个步骤 使用的算法、参数和结果 ，这使得系统能够将研究者的选择和实验步骤的中间结果记录下来，供研究者在后续研究 中使用 ，可避免不必要 的重复性工作 ，提高文本分类研究的效率 。 关键词 文本分类 文本索引 特征降维 DICV：A StudyFrameworkofTextCategorization LiGangandXiaChenxi (ResearchCenter矿InformationResource，WuhanUniversity，Wuhan430072) Abstract Atextcategoriaztionexperimentmustwalkthroughmultiplesteps，includingpreparingdocumentset，document inde~ng，featuredimensionalityreduction，classfiication，andperformanceevaluation．Andineachofthesteps，wegetalotof choicestofulfillhtetask，whichwillmakeagreatimpactonhtefinalresultofhtewholetextcategoriaztionprocesses．Sowhenwe wanttocomparedifferentalgorithmsthatachievehtesamestep，wemustchoose8anlemehtodsforhteothersteps80htathteyFun inhte seineenvironment．Inhtispaper，weproposeastudyframeworkoftextcategorization，DICV，whichisocnsistedoffo