面向科研与教学的文本分类平台构建.pdfVIP

2015年9月 现 代 情 报 Sep．，2015 第35卷第 9期 JournalofModemInformation V01．35 No．9 · 信 息 资 源 开 发 与 利 用 · 面向科研与教学的文本分类平台构建 路永和 彭燕虹 刘文秋 (中山大学资讯管理学院，广东 广州 510006) [摘 要]为提高中文文本分类科研与教学人员的工作效率，本文针对国内现有 中文文本分类系统的研发现状，构建一个 包括预处理、特征选择、权值计算、自动分类和分类效果测评等文本分类全过程的管理平台。开发过程中，本文使用系统集成 思想和方法将 自编软件代码与相关的开源软件代码进行集成 。经测试 ，该系统实现 了文本 自动分类过程 的全部功能 。 [关键词]文本分类；MVC；语料库；训练集；测试集 DOI：10．3％g／i．iSSIq．1008一O821．2015．O9．011 [中图分类号]TP391 [文献标识码]B [文章编号]1008—0821(2015)09—0056—07 BuildingaTextClassificationPlatform forScientificResearchandTeaching LuYonghe PengYanhong LiuWenqiu (SchoolofInformationManagement，SunYat—senUniversity，Gunagzhou510006，China) [Abstract]Inordertoimprovetheworkingefficiencyofthepeo~ewhichareoccupiedinscientificresearchandteachingof Chinesetextcategorizationnadconsideringabouttheresearchanddevelopmentstatusofthetextcategorizationsystem inChina，a managementplaftorm oftextcategorizationforthewholeprocess，includingpre—processing，featureselection，weightingcMc~a— tion，automaticclassfiicationandclassificationevaluationwerebuilt．Intheprocessofthedevelopment，basedonhteprinciple andmethodofsystem integration．thecodingofourselvesandtheonesoftherelatedopensources arewereintergated．After testing，htesystem implementedthewholefunctions ofautomatictextcategorization． [Keywords]textclassification；MVC；corpus；trainingset；testingset 文本分类是基于内容的 自动文本信息管理，随着网络 的抽象复杂 ，他们很难学习到相应知识内核。基于上述原 文本数量呈几何级数增长，文本分类已成为处理和组织海 因，研发一个面向教学与科研的文本分类平台，实现数据 量文本信息的关键技术_1J。文本分类就是将文本信息分到 集导入、训练集与测试集索引、特征选择、权值计算、文 已定义好的一个或多个类中，从而帮助人们更好更快的检 本分类并提供可视化的界面，使得科研人员、高校学生甚 索到有用信息，过滤掉无用信息。一般而言，文本分类分 至包括无技术背景的人员均能利用此文本分类系统进行文 为以下5个环节，包括：文本预处理、特征选择、权值计