一种基于主题词表的快速中文文本分类技术.pdfVIP

维普资讯 情 报 学 报 ISSN1000—0135 JOURNALOFTHECHINA S0CIETY FOR SCIENTIFIC AND TECHNICALINF0RMAT10N ISSN l00o一0135 第27卷第 3期 323—327，2008年6月 Vo1．27 No．3 ．323 — 327 June 2oo8 一 种基于主题词表 的快速 中文文本分类技术 ’ 刘 新 刘任任 (湘潭大学信息工程学院，湘潭 411105) 摘要 针对中文文本的自动分类问题，提出了一种新的算法。该算法的基本思路是构造一个带权值的分类主 题词表 ，该词表采用键树的方式构建，然后利用哈希杂凑法和长词匹配优先原则在主题词表 中匹配待分类的文档 中的字符 串，并统计匹配成功的权值和 ，以权值和最大者作为分类结果 。本算法可 以避开 中文分词 的难点和它对 分类结果的影响。理论分析和实验结果表明，该技术分类结果的准确度和时间效率都 比较高 ，其综合性能达到了 目前主流技术 的水平 。 关键词 文本分类 主题词表 键树 哈希函数 增益权值 AFastTextCategorizationTechnologyforChineseBasedonSubjectTermsList LiuXinandLiURenren (CollegeofInformationEngineeringofXiangtanUniversity，Xiangtan411105) Abstract TosolvingChinesetextcategorization，anew algorithm isproposed．Thebasicideaistoconstructaweighted valueofclassificationsubjecttermslistfirstly，itisconsturctedinkeytree，thenusingtheHashfunctionandtheprincipleof givingpriority forlongtemr matchingtomappingthestringsindocumentationstothelist．Afterthat，calculatethesum ofweights ofthesekeywordswhichhavebeenmatchedsuccessfully．Finallytakethemaximum ofrresultoftheclassification．Thealgorithm can avoidthedifficulyt ofChinesewordsegmentationanditsinfluenceonaccuracyofresult．Th eoreticalanalysisandexperimenatl resultsindicatethathteaccuracyandthetimeefficiencyofhtealgorithm ishigher，whosecomprehensiveperfomr ancereachesto htelevelofcurrentmajortechnology． Keywords textcategoriaztion，subjecttemrslist，keytree，Hashfunction，gainweight 法 (NB)，支持向量机算法 (SVM)，基于最大熵模型的