基于错误预测的文本分类方法.pdfVIP

基于错误预测的文本分类方法* 陈毅恒 秦兵 刘挺 林建国 李生 哈尔滨工业大学信息检索研究室 哈尔滨 150001 Email: cyh@ir.hit.edu.cn 摘要：本文提出一种基于潜在语义索引（LSI ）和互信息（MI ）相融合的文本分类模型。使用LSI 进行特征表示 和特征降维在提高分类的性能上有优异的表现，但LSI 本身在处理速度和耗用空间上存在缺陷。本文先对文本使 用向量空间模型（VSM ）并利用MI 方法进行特征提取，利用 SVM 的后验概率机制，对分类的结果进行错误预 测。对错误可能性高的部分文本利用LSI 进行第二次分类。算法融合 MI 和 LSI 的优点，降低了使用LSI 造成的 效率损失，提高分类精度和性能。 关键字：文本分类，潜在语义索引， 互信息， 错误预测 Text Classification Based on Error Predict Chen Yiheng Qin Bing Liu Ting Lin Jianguo Li Sheng Information Retrieval Lab, Harbin Institute of Technology, Harbin 150001, China Email: cyh@ir.hit.edu.cn Abstract: This paper presents a segment-based method to solve the problem of length in the parsing. Firstly, a sentence is divided into different segments, each of which is assigned a label to indicate its syntactic type. Secondly, the segments are parsed separately. Finally, all the segments are linked through the dependency relations and the parsing of the whole sentence is completed. Experiments show that the identification of segments decreases the complexity of parsing and improves the accuracy of Chinese dependency parsing. Keywords: dependency parsing, punctuation, segment, dependency relation 1 引言 随着网络兴起和大量文本资源的出现，自动分类方法成为研究热点。文本分类是一个有指 导的学习过程，在标注好的训练文本集合，找到文本特征和文本类别之间的关系模型，然后利用 学习到的模型对未知类型的文本进行类别预测。支持向量机、朴素贝叶斯、K近邻等方法都在自 动分类中取得很好的效果。中文文本分类通常以词条作为最小独立语义单元组成特征空间。中文 常用词汇达几十万条，对于特征空间来说这个数字过于庞大。分类最大的困难就是特征空间维数 过高而导致文档的特征向量稀疏。对特征空间进行有效降维，在不影响分类的精度下提高分类的 效率成为评价分类系统的重要指标。互信息、信息增益、文档词频、潜在语义索引[1]和Odds Ratio[2] 都是有效的降维方法。而王强等人的工作证明LSI的方法有更好的效果，但LSI 良好的效果是建立 在时间的消耗上，对大规模语料处理存在困难。本文提出了一种把MI和LSI相融合的方法来优化 * 基金资助项目：腾讯分类聚类基金项目 SVM分类器，该方法不仅在准确率上较LSI有所提高，效率也上有明显改善。 2 相关工作 2.1 文本表示 将文档表示成计算