基于语义的KNN短文本分类算法研究-郑州轻工业学院.PDFVIP

第２７卷　第６期 郑 州 轻 工 业 学 院学 报 （自然 科 学版 ） Ｖｏｌ．２７　Ｎｏ．６ ２０１２年１２月 ＪＯＵＲＮＡＬＯＦＺＨＥＮＧＺＨＯＵＵＮＩＶＥＲＳＩＴＹＯＦＬＩＧＨＴＩＮＤＵＳＴＲＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ｄｅｃ．２０１２ 文章编号：２０９５－４７６Ｘ（２０１２）０６－０００１－０４ 基于语义的ＫＮＮ短文本分类算法研究 张素智，　刘婧姣 （郑州轻工业学院 计算机与通信工程学院，河南 郑州 ４５０００２） 摘要：针对短文本分类关键词特征稀疏和样本数量多，难以处理的技术难点，提出一种基于语义的 ＫＮＮ短文本分类算法．该算法采用基于字的分词策略提取出短文本的特征词，结合中国知网对关键 词进行概念映射以提高短文本的语义表达，并针对短文本特点，通过使用ＬＳＡ降维处理，对ＫＮＮ分 类算法加以改进．实验结果表明，该算法能够有效提高短文本的分类性能． 关键词：短文本；文本分类；语义扩展；ＫＮＮ分类算法 中图分类号：ＴＰ３９１　　文献标志码：Ａ　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．２０９５－４７６Ｘ．２０１２．０６．００１ ＡｓｈｏｒｔｔｅｘｔＫＮＮｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｓｅｍａｎｔｉｃ ＺＨＡＮＧＳｕｚｈｉ，　ＬＩＵＪｉｎｇｊｉａｏ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＺｈｅｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙｏｆＬｉｇｈｔＩｎｄｕｓｔｒｙ，Ｚｈｅｎｇｚｈｏｕ４５０００２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｓｏｆｋｅｙｗｏｒｄｓｓｐａｒｓｅｆｅａｔｕｒｅｓ，ｓａｍｐｌｅｑｕａｎｔｉｔｙｏｆｔｈｅｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａ ｔｉｏｎａｎｄｄｉｆｆｅｒｃｕｌｔｄｅａｌｉｎｇｗｉｔｈ，ａｍｅｔｈｏｄｂａｓｅｄｏｎｓｅｍａｎｔｉｃＫＮＮｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｗａｓ ｐｒｅｓｅｎｔｅｄ．Ｔｈｅａｌｇｏｒｉｔｈｍｅｘｔｒａｃｔｓｓｈｏｒｔｔｅｘｔｆｅａｔｕｒｅｗｏｒｄｓｂａｓｅｄｏｎｔｈｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｓｔｒａｔｅｇｙ，ｃｏｍｂｉ ｎｉｎｇＣＮＫＩｔｏｋｅｙｆｏｒｃｏｎｃｅｐｔｍａｐｐｉｎｇｔｏｉｍｐｒｏｖｅｔｈｅｓｈｏｒｔｔｅｘｔｓｅｍａｎｔｉｃｅｘｐｒｅｓｓｉｏｎ，ＫＮＮｃｌａｓｓｉｆｉｃａｔｉｏｎａｌ ｇｏｒｉｔｈｍｗａｓｉｍｐｒｏｖｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｈｏｒｔｔｅｘｔｔｈｒｏｕｇｈａｐｐｌｉｃａｔｉｏｎｏｆＬＳＡｄｉｍｅｎｓｉｏｎａｌｉ ｔｙｒｅｄｕｃｔｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｃａｎｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｔｈｅｓｈｏｒｔｔｅｘｔｃｌａｓｓｉ ｆｉｃａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅ． Ｋｅｙｗｏｒｄｓ：ｓｈｏｒｔｔｅｘｔ；ｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｓｅｍａｎｔｉｃｅｘｐａｎｓｉｏｎ；ＫＮＮｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍ 行有效分类，将会有助于舆情预警、流行语分析、话 ０　引言 题跟踪与发现等．因此如何对海量的网络短文本数 随着我国互联网的发展，微博、在线聊天记录、 据进行分类，逐渐成为近年来相关研究领域的热点． ＢＢＳ标题、博客观点等各种形式的短文本迅速增多， 短文本即包含字符数量较少（通常不超过２００个） ［１］ 并逐渐成为人们沟通交流和信息获取的一种重要 的文本，其内容简短，语言多不规范 ，所以在常 方式．短文本数量多、信息量大，包含了人们对社会 规文本分类中成熟运用的分类技术并不能较好地 各种现