基于改进BoS的Web文本分类研讨.pdfVIP

第33卷 第 1期 南 京 邮 电 大 学 学 报 ( 自 然 科 学 版 ) Vo1．33 No．1 2013年 2月 JournalofNanjingUniversityofPostsandTelecommunications(NaturalScience) Feb．2013 基于改进 BoS的Web文本分类研究 彭俊杰，陈丹敏 (河南大学 计算机与信息工程学院，河南 开封 475004) 摘 要：提出了改进的文本相似度计算方法，在计算文本的相似度时，赋予不同文本块中的句子不同的权值，同时 直接去掉短句子和合并高相似度的句子以精简句子包中句子数量以提高运算速度。改进后的文本相似度计算方 法为：先根据句子相似度的计算方法计算句子的相似度，再计算文本块的相似度，最后按照文本块的权值计算整个 文本的相似度。经试验证明，改进后的算法在文本召回率、准确率和Fl值上都有明显的提高。 关键词：Web文本分类；句子包；向量空间模型；文本挖掘 中图分类号：1 91 文献标志码：A 文章编号：1673_5439(2013)01-0079-05 ResearchonW ebTextClassificationBasedon ImprovedBoS PENGJun-jie，CHENDan-min (CollegeofComputerandInformationEngineering，HenanUniversity，Kaifeng475004，China) Abstract：Animprovedtextsimilaritycalculationmethodisproposed．Bymeansofgivingdifferentweights tosentencesofdifferenttextblocks．removingshortsentencesdirectly andcombining thhigh similar sentences，thetotalnumberofsentencesinBoS(BagofSentences)canbedecreasedduringsimilarity calculationandtheprocessingspeedcanbeincreased．Firstofall，theimprovedtextsimilaritycalculation methodcalculatesthesimilarityofthesentenceaccordingtothesentencesimilaritycalculationmethod． Thenhtetextsimilarity iscalculatedand finally thewholetextsimilarityiscalculatedaccordingtothe weightsofthetextblock．Itisprovedbyexperimentsthattheimprovedcalculationmethodhassignificant improvementinrecallrateandprecisionoftextandF1value． Keywords：webtextclassification；bagofsentences；vectorspacemodel；textmining 0 引 言 的文本表示模型主要是向量空间模 型 (vector spacemodel，VSM)。文献 [4]构造了一种近邻算法 随着信息化进程的不断推进，互联网已经成为 进行分类；文献 [5]实现了基于神经网络的分类方 主要的信息发布平台和获取平台。越来越多的政 法；文献 [6]设计了基于朴素贝叶斯方法的特征选 府、组织、企业和个人通过互联网发布和获取信息， 择算法；文献 [7]运用句类理论 在句子级