中文信息学报基于后缀树模型的文本实时分类系统的研究-中国科学院.PDF

中 文 信 息 学 报 第19卷第5期 JOURNALOFCHINESEIIVFORMATIONPROCESSING Vol.19No.5 文章编号:1003一0(Y77(2005)05一0016一08 基于后缀树模型的文本实时分类系统的研究和实现 郭 莉，张 吉，谭建龙 (中国科学院计算技术研究所，北京 100080) 摘要:本文在面向网络内容分析的前提下，提出了一种基于后级树的文本向量空间模型(VSM)，并在此模 型之上实现了文本分类系统。对比基于词的VSM，该模型利用后缀树的快速匹配，实时获得文本的向量表示， 不需要对文本进行分词、特征抽取等复杂计算。同时，该模型能够保证训练集中文本的更改，对分类结果产生 实时影响。实验结果和算法分析表明，我们系统的文本预处理的时间复杂度为0(N)，远远优于分词系统的预 r 处理时间复杂度。此外，由于不需要分词和特征抽取，分类过程与具体语种无关，所以是一种独立语种的分类 方法。 关键词:计算机应用;中文信息处理;实时文本分类;向量空间模型;后级树 中图分类号:TP391 文献标识码:A ResarchandImplementationofOn-lineTextCategorization SystemBasedonSuffixTree GUOU，丹认NGJi,TANban-long (InstituteofComputingTechnology,ChineseAcademyofSciences,Be巧吨100080,c1ina) Abstract:Wepropose-atextvectorspacemodel(VSM)basedonsuffixtreeandimplementatextcategorizingsystemonthe model.Themodelcanperformfastmatchingbythesupport.ofsuffixtree,obtaint com口excomputationsuchaswordsegmentationorfeatureextractionofthetext.Inaddition,thismodelcanguaranteethat thealterationofthetrainingsetcanaffecttheresultofclassificationinrealtime. ntandanalysisofthealgorithm showthat,thetimecomplexityoftextpreprocessinginoursystemis0(N)，whichismuchbetterthanthatofwordsegment- ationmethod.Besides,theavoidanceofwordsegmentationandfeatureextractionshowsthatthecategorizingprocessisirrel- evanttodowiththeconcretelanguageandisalanguageindependentmethod. Keywords:computerapplication;Chineseinformationprocessing;onlinetextcategorization;vectorspacemodel;suffixtree 1 引言 随着信息技术的发展，特别是Internet应用的普及，人们已经从信息缺乏的时代过渡到信 息极为丰富的时代。如何从大量信息中迅速有效地提取出所需信息也就成为 ‘项重要的研究 课题。由于分类可以在较大程度上解决目前网络信息杂乱的现象，方便用户准确定位所需信 息，因此分类尤其是文本分类的研究日益重要]〔‘。 文本分类是指在给定分类体系下，根据文本的内容自动确定文本类别的过程。通常来说， 收稿日期二2004-07一21 定稿日期二2005-01一19 基金项目:国家自然科学基金资助项目(602730