基于词贡献度的垃圾短信分类方法-山东大学学报工学版.pdfVIP

　第４２卷　第５期 山　东　大　学　学　报　（工　学　版） ２０１２年１０月　 　 　　 Ｖｏｌ．４２　 Ｎｏ．５　　 　ＪＯＵＲＮＡＬＯＦＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ（ＥＮＧＩＮＥＥＲＩＮＧＳＣＩＥＮＣＥ） Ｏｃｔ．２０１２　 　文章编号：１６７２３９６１（２０１２）０５００８７０４　　　ＤＯＩ：１０．６０４０／ｊ．ｉｓｓｎ．１６７２３９６１．２０１２．０５．０１５ 基于词贡献度的垃圾短信分类方法 １ ２ ３ 张永军 ，刘金岭 ，于长辉 （淮阴工学院计算机工程学院，江苏 淮安２２３００３） 摘要：针对垃圾短信分类问题，提出了一种以词贡献度为基础的分类方法。该方法引入词贡献度的概念表达词在 不同短信分类中的权重差别，通过构建词贡献度———分类矩阵和计算矩阵行均方差来实现降维，以词贡献度为基 础计算短信隶属于短信分类的隶属度，并通过比较隶属度密度的方法解决分类冲突问题。实验结果表明，该方法 在分类效果和实时性方面优于其他常用垃圾短信分类方法。 关键词：垃圾短信；文本分类；词贡献度；方差；降维 中图分类号：ＴＰ３１１　　　文献标志码：Ａ Ａｓｐａｍｓｈｏｒｔｍｅｓｓａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｗｏｒｄｃｏｎｔｒｉｂｕｔｉｏｎ １ ２ ３ ＺＨＡＮＧＹｏｎｇｊｕｎ，ＬＩＵＪｉｎｌｉｎｇ，ＹＵＣｈａｎｇｈｕｉ （ＦａｃｕｌｔｙｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＨｕａｉｙｉｎＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈｕａｉ′ａｎ２２３００３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｗｏｒｄｃｏｎｔｒｉｂｕｔｉｏｎｗａｓｐｒｏｐｏｓｅｄｔｏｃｌａｓｓｉｆｙｓｐａｍｓｈｏｒｔｍｅｓｓａｇｅｓ．Ｔｈｅｃｏｎ ｃｅｐｔｏｆｗｏｒｄｃｏｎｔｒｉｂｕｔｉｏｎｗａｓｉｎｔｒｏｄｕｃｅｄｆｏｒｒｅｐｒｅｓｅｎｔｉｎｇｗｅｉｇｈｔｄｉｆｆｅｒｅｎｃｅｏｆａｗｏｒｄｉｎｄｉｆｆｅｒｅｎｔｃａｔｅｇｏｒｉｅｓ，ｔｈｅｗｏｒｄ ｃｏｎｔｒｉｂｕｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｍａｔｒｉｘｗａｓｃｏｎｓｔｒｕｃｔｅｄ，ｔｈｅｎｔｈｅｍｅａｎｓｑｕａｒｅｄｅｖｉａｔｉｏｎｏｆｅａｃｈｒｏｗｉｎｔｈｅｍａｔｒｉｘｗａｓｃｏｍｐｕ ｔｅｄｔｏｒｅｄｕｃｅｄｉｍｅｎｓｉｏｎａｌｉｔｉｅｓ．Ｔｏｄｅｔｅｒｍｉｎｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｓｈｏｒｔｍｅｓｓａｇｅｂｅｌｏｎｇｓｔｏ，ｓｈｏｒｔｍｅｓｓａｇｅｃａｔｅｇｏｒｙｍｅｍ ｂｅｒｓｈｉｐｄｅｇｒｅｅｓｗｅｒｅｃａｌｃｕｌａｔｅｄｂａｓｅｄｏｎｗｏｒｄｃｏｎｔｒｉｂｕｔｉｏｎ．Ｆｕｒｔｈｅｒｍｏｒｅｉｆｃａｔｅｇｏｒｙｃａｎｄｉｄａｔｅｓｗｅｒｅｍｏｒｅｔｈａｎｏｎｅ，ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎｃｏｎｆｌｉｃｔｐｒｏｂｌｅｍｃｏｕｌｄｂｅｒｅｓｏｌｖｅｄｂｙｃｏｍｐａｒｉｎｇｔｈｅｄｅｎｓｉｔｉｅｓｏｆｓｈｏｒｔｍｅｓｓａｇｅｃａｔｅｇｏｒｙｍｅｍｂｅｒｓｈｉｐｄｅ ｇｒｅｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｗａｓｓｕｐｅｒｉｏｒｔｏｏｔｈｅｒｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｓｉｎｔｈｅｃｌａｓ ｓｉｆｉｃａｔｉｏｎｒｅｓｕｌｔａｎｄｒｅａｌｔｉｍｅ． Ｋｅｙｗｏｒｄｓ：ｓｐａｍｓｈｏｒｔｍｅｓｓａｇｅ；ｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｗｏｒｄｃｏｎｔｒｉｂｕｔｉｏｎ；ｖａｒｉａｎｃｅ；ｄｉｍｅｎｓｉｏｎａｌｉｔｙｒｅｄｕｃｔｉｏｎ 样本文本距离来计