《基于LASVM-NC和TF.RF的文本分类方法》.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 基于LASVM．NC和TF．RF的文本分类方法 李玉鳢，李玉雄，冷强奎 LIYujian，LIYuxiong，LENG Qiangkui 北京工业大学 计算机学院，北京 100124 CollegeofComputerScience，BeijingUniversityofTechnology,Beijing100124，China LIYujian，LIYuxiong，LENGQiangkui．Textclassificationmethodbasedonnon—convexonlinesupportvectormachines andtermfrequencyrelevancefrequencyproduct．ComputerEngineeringandApplications，2014，50(10)：136-140． Abstract：Non-convexonlinesupportvectormachine(LASVM—NC)hastheadvantagesofstronganti-noiseabilityand fasttrainingspeed，whiletermrfequencyrelevancefrequencyproduct(tf． isaverygoodtextfeatureforadaptiveclassi— ficationperformance．LASVM-NC+ft isproposedasanewtextclassificationmethodbycombiningnon-convexsupport vectormachineswithtemr rfequencyrelevancerfequencyproduct．Ithasbeenshownthatthemethodcanperfomr betterthan LASVM-NCplusmanyotherfeatures．Moreover,themethodcanproducefastertrainedandmorerobustclassifierswith greatergeneralizationandsparserexpressionthanSVM+ft．rfinprocessingnoisyandlarge-scaledatasets． Keywords：non-convexonlinesuppo~vectormachine；supportvectormachines；term weighring；temr frequency；relevance rfequency；textclassification 摘 要：非凸在线支持向量机 (LASVM．NC)具有抗噪能力强和训练速度快的优点，而词频相关频率积(，厂)则是一 种 自适应能力很强、分类性能非常好的文本特征。通过把非凸在线支持向量机和词频相关频率积相结合，提出了一 种新的文本分类方法，即LASVM．NC+tf． 实验结果表明，这种方法在LASVM．NC与多种其他特征的结合 中性能 是最好的，且与SVM+tfrf~8比，不仅所产生的分类器具有泛化能力更强、模型表达更稀疏的优点，而且在处理含噪 声的数据时具有更好的鲁棒性，在处理大规模数据时具有快得多的训练速度。 关键词：非凸在线支持向量机；支持向量机；特征项；词频；相关频率；文本分类 文献标志码：A 中图分类号：TP311 doi：10．3778~．issn．1002．8331．1207—0116 l 引言 可以是文本中出现的词项、短语或句子 ，也可以是具有 文本分类是指用计算机按照一定的标准对文本集 复杂语义或语法结构的索引单元。但是在实际应用中， 自动赋予类别标记 ，它在信息检索、文本挖掘和舆情分 特征项通常选择为一个文档集 中出现的部分词项 。假 析等领域中具有重要应用 ，其中涉及文本表示、特征选 如把文档集 中出现 的所有词项记为 ，停用词表记为 择 、分类模型和评价方法等关键技术n。。 ， 则一般来说特征项集 =V—S。 在文本分类的研究中，文本通常被表示为一个向量 在选择特征项集后，还需要计算文本d中每个特征 空间模型