基于 KNN ＋层次 SVM 的文本自动分类技术.pdfVIP

第 ３３ 卷第 ２ 期 计算机应用与软件 Ｖｏｌ．３３ Ｎｏ．２ ２０１６ 年 ２ 月 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｆｅｂ．２０１６ 基于 ＫＮＮ＋层次 ＳＶＭ的文本自动分类技术 王金华１ 喻 辉２ 产 文３ 周向东３ 施伯乐３ １（中国电子科技集团公司第三十二研究所 上海 ２００２３３） ２（成都军区通信网络技术管理中心 四川 成都 ６１００００） ３（复旦大学计算机学院 上海 ２００４３３） 收稿日期：２０１４ ０９ ０１。王金华，高工，主研领域：数据工程与信 息系统。喻辉，工程师。产文，博士。周向东，教授。施伯乐，教授。 摘 要 针对大规模文本的自动层次分类问题，Ｋ近邻（ＫＮＮ）算法分类效率较高，但是对于处于类别边界的样本分类准确度不 是很高。而支持向量机（ＳＶＭ）分类算法准确度比较高，但以前的多类 ＳＶＭ算法很多基于多个独立二值分类器组成，训练过程比较 缓慢并且不适合层次类别结构等。提出一种融合 ＫＮＮ 与层次 ＳＶＭ的自动分类方法。首先对 ＫＮＮ 算法进行改进以迅速得到 Ｋ个 最近邻的类别标签，以此对文档的候选类别进行有效筛选。然后使用一个统一学习的多类稀疏层次 ＳＶＭ分类器对其进行自上而下 的类别划分，从而实现对文档的高效准确的分类过程。实验结果表明，该方法在单层和多层的分类数据集上的分类准确度比单独使 用其中任何一种要好，同时分类时间上也比较接近其中最快的单个分类器。 关键词 自动文本分类 ＫＮＮ 层次 ＳＶＭ 中图分类号 ＴＰ３０２．１ 文献标识码 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００ ３８６ｘ．２０１６．０２．００９ ＩＮＴＥＧＲＡＴＩＮＧ ＫＮＮ ＡＮＤ ＨＩＥＲＡＲＣＨＩＣＡＬ ＳＶＭ ＦＯＲ ＡＵＴＯＭＡＴＩＣ ＴＥＸＴ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ Ｗａｎｇ Ｊｉｎｈｕａ１ Ｙｕ Ｈｕｉ２ Ｃｈａｎ Ｗｅｎ３ Ｚｈｏｕ Ｘｉａｎｇｄｏｎｇ３ Ｓｈｉ Ｂｏｌｅ３ １（Ｔｈｅ ３２ｎｄ Ｉｎｓｔｉｔｕｔｉｏｎ ｏｆＣｈｉｎａ Ｅｌｅｃｔｒｏｎｉｃｓ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏｒｐｏｒａｔｉｏｎ，Ｓｈａｎｇｈａｉ ２００２３３，Ｃｈｉｎａ） ２（Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｃｅｎｔｅｒ ｏｆＣｈｅｎｇｄｕ Ｍｉｌｉｔａｒｙ Ａｒｅａ Ｃｏｍｍａｎｄ，Ｃｈｅｎｇｄｕ ６１００００，Ｓｉｃｈｕａｎ，Ｃｈｉｎａ） ３（Ｓｃｈｏｏｌ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｆｕｄａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２００４３３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｆｏｒ ａｕｔｏｍａｔｉｃ ｈｉｅｒａｒｃｈｉｃａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｌａｒｇｅ ｓｃａｌｅ ｔｅｘｔ，ｋ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｕｒｓ （ＫＮＮ）ａｌｇｏｒｉｔｈｍ ｈａｓ ｈｉｇｈｅｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ｂｕｔ ｉｓ ｎｏｔ ｅｆｆｅｃｔｉｖｅ ｆｏｒ ｃｌａｓｓｉｆｙｉｎｇ ｔｈｅ ｓａｍｐｌｅｓ ｏｎ ｔｈｅ ｂｏｒｄｅｒｓ ｏｆ ｃａｔｅｇｏｒｉｅｓ．Ｔｈｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ （ＳＶＭ）ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｈａｖｅ ｈｉｇｈｅｒ ａｃｃｕｒａｃｙ，ｈｏｗｅｖｅｒ ａ ｎｕｍｂｅｒ ｏｆ ｐｒｅｖｉｏｕｓ ｍｕｌｔｉ ｃｌａｓｓ ＳＶＭａｌｇｏｒｉｔｈｍｓ ａｒｅ ｃｏｍｐｏｓｅｄ ｏｆ ａ ｎｕｍｂｅｒ ｏｆ ｉｎｄｅｐｅｎｄｅｎｔ ｂｉｎａｒｙ ｃｌａｓｓｉｆｉｅｒｓ，ｔｈｕｓ ｔｈｅｙ ｂｅｃｏｍｅ ｓｌｏｗｅｒ ｉｎ ｔｒａｉｎｉｎｇ ｐｒｏｃｅｓｓ ａｎｄ ａｒｅ ｎｏｔ ｓｕｉｔａｂｌｅ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｃａｔｅｇｏｒｙ ｓｔｒｕｃｔｕｒｅｓ．Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａ ｎｅｗ ｍｅｔｈｏｄ ｗｈｉｃｈ ｉｎｔｅｇｒａｔｅｓ ｂｏｔｈ ＫＮＮ ａｎｄ ｈｉｅｒａｒｃｈｉｃａｌ ＳＶＭ ａｌｇｏｒｉｔｈｍ ｆｏｒ ａｕｔｏｍａｔｉｃ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｆｉｒｓｔ ｗｅ ｍｏｄｉｆｙ ｔｈｅ ＫＮＮ ａｌｇｏｒｉｔｈｍ ｔｏ ｑｕｉｃｋｌｙ ｏｂｔａｉｎ Ｋ ｃｌａｓｓ ｌａｂｅｌｓ ｏｆ ｔｈｅ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｕｒｓ，ａｎｄ ｅｆｆｅｃｔｉｖｅｌｙ ｓｉｆｔ ｏｕｔ ｃａｎｄｉｄａｔｅ ｃａｔｅｇｏｒｉｅｓ ｏｆ ｔｈｅ ｄｏｃｕｍｅｎｔｓ ｗｉｔｈ ｔｈｅｍ．Ｔｈｅｎ ｗｅ ｕｓｅ ａ ｍｕｌｔｉ ｃｌａｓｓ ｓｐａｒｓｅ ｈｉｅｒａｒｃｈｉｃａｌ ＳＶＭｃｌａｓｓｉｆｉｅｒ ｗｉｔｈ ｕｎｉｆｏｒｍ ｌｅａｒｎｉｎｇ ｔｏ ｍａｋｅ ｔｏｐ