带有短语切分的中文文本分类方法.pdfVIP

第20 期 计 算 机 技 术 与 发 展 Vo1．20 No．1 2010 1 Jan． 2010 年 月 COⅣIPUTERTECHNOI．oGYANDDEVEU)lM匮NT 带有短语切分的中文文本分类方法 田昕辉，李成基 (国立庆北大学计算机工学系，韩国 大邱 702—701) 摘 要：Intemet文本信息量极速增加 ，在组织和处理这些文本数据时，文本分类技术显得尤为重要。利用统计学理论 ，特 征提取和权重计算常常忽略了特征项之间的语法关系。文中提出了一种将短语切分与文本分类相结合的新方法。在经过 TFIDF计算之后，在同一个短语中，特征项之间的关系被计算出来，然后调整权值向量，最后可以得到文本分类的正确率。 同一般地文本分类方法相比 加人短语切分的文本分类方法的正确率平均提高了1．5％以上。 关键词 ：特征提取；文本分类；短语切分 ；权值调整 中图分类号：TP391．1 文献标识码 ：A 文章编号：1673—629X(2010)01一O0O9—05 PhraseSegmentation forChineseTextClassification TIAN Xin．hui，LEESung-kee (DepartmentofComputerEngineering，Kyungp~kNationalUniversity，Daegu702—701，Korea) Abstract：WiththerapidgrowthoftextualinformationonIntemet。textclassificationhasbecolTlearflol~importantkeytechnologyinor- ganizingandprocessinglargeamountofdoctrnentdata．GenerMstatisticsmethodoffeatureextractionandwe~htcalculationignoresthe syntaxrelationshipbetweenterms．A new methodofhow thephrasesegmenattionisbroughtintotextclassification isdiscussed．After TFIDF iscalc~atde ．therelatoinshipbetweenfaetur~ inaphraseisevaluated．TheneooMinatetheweight、 torwiththerelationship informatoin．Finally．theaccuracyoftextclassifiactionisevaluatde ．Comparedwi出 thegeneralmethodoftextclassifiactoin，theim— pmvementofacc oftextclassificationwithphrasesegmentatoinisincreasedby1．5％． Key删 s：featureextraction；textclassifiactoin；phrasesegmenattion；weightooordinafion 1 Introduction 2 TechnologyofTextClassification W ith thedevelopmentofIntemetand i