不均衡训练集下短信过滤系统kNN 方法的研究.pdfVIP

第３０卷第１１期　　　 计算机应用与软件 Ｖｏｌ３０Ｎｏ．１１ ２０１３年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０１３ 不均衡训练集下短信过滤系统ｋＮＮ方法的研究 １ ２ 徐　山　杜卫锋 １（南京城市职业学院教务处　江苏南京２１００３８） ２（嘉兴学院数理与信息工程学院　浙江嘉兴３１４００１） 摘　要　　不良短信的泛滥，严重影响了社会风气，干扰了人们正常的生活秩序，研发不良短信过滤技术具有相当的实用价值。应 用中科院计算所研制开发的ＩＣＴＣＬＡＳ分词系统，结合ＴＦＩＤＦ词权度量指标提取关键词，实现短信文本到特征向量的转换，然后采用 ｋＮＮ方法实现短信的类别判断，从而实现不良短信的过滤。另外，针对训练集分布不均衡的情况，应用基于密度的改进方法，较为 有效地处理了原来分类结果倾向于大类别样本的情况。实验表明，改进后的方法的准确率约７９．１８％，比原方法提升了约１．２３％。 该方法能够比较有效地过滤不良短信，具有一定的实用价值。 关键词　　短信过滤　不均衡训练集　ｋ近邻方法　向量空间模型 中图分类号　ＴＰ１８１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１３．１１．０２４ ＲＥＳＥＡＲＣＨＯＮｋＮＮＭＥＴＨＯＤＦＯＲＳＨＯＲＴＭＥＳＳＡＧＥＳ ＦＩＬＴＥＲＩＮＧＳＹＳＴＥＭＷＩＴＨＵＮＢＡＬＡＮＣＥＤＴＲＡＩＮＩＮＧＳＥＴ １ ２ ＸｕＳｈａｎ　ＤｕＷｅｉｆｅｎｇ １（Ｄｅａｎ′ｓＯｆｆｉｃｅ，ＮａｎｊｉｎｇＣｉｔｙＶｏｃａｔｉｏｎａｌＣｏｌｌｅｇｅ，Ｎａｎｊｉｎｇ２１００３８，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） ２（ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓ，ＰｈｙｓｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＪｉａｘｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｊｉａｘｉｎｇ３１４００１，Ｚｈｅｊｉａｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｅｏｖｅｒｒｕｎｎｉｎｇｏｆｔｈｅｕｎｗａｎｔｅｄｓｈｏｒｔｍｅｓｓａｇｅｓｓｅｒｉｏｕｓｌｙｉｍｐａｃｔｓｔｈｅｓｏｃｉａｌｅｔｈｏｓａｎｄｄｉｓｒｕｐｔｓｔｈｅｎｏｒｍａｌｌｉｆｅｏｒｄｅｒｏｆｐｅｏｐｌｅ．Ｉｔ ｈａｓｃｏｎｓｉｄｅｒａｂｌｅｐｒａｃｔｉｃａｌｖａｌｕｅｔｏｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｐｔｈｅｆｉｌｔｅｒｉｎｇｔｅｃｈｎｏｌｏｇｙｏｆｈａｒｍｆｕｌｓｈｏｒｔｍｅｓｓａｇｅｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ＩＣＴＣＬＡＳｓｅｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍｄｅｖｅｌｏｐｅｄｂｙｔｈｅＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙｏｆＣＡＳｉｓａｐｐｌｉｅｄｔｏｒｅａｌｉｓｅｔｈｅｔｒａｎｓｉｔｉｏｎｏｆｓｈｏｒｔｍｅｓｓａｇｅｔｅｘｔｔｏｔｈｅｅｉｇｅｎｖｅｃｔｏｒｓｉｎ ｃｏｍｂｉｎａｔｉｏｎｗｉｔｈｋｅｙｗｏｒｄｓｅｘｔｒａｃｔｉｏｎｕｓｉｎｇＴＦＩＤＦｗｏｒｄｒｉｇｈｔｍｅｔｒｉｃｓ，ｔｈｅｎｔｈｅｋＮＮｍｅｔｈｏｄｉｓａｄｏｐｔｅｄｔｏｒｅａｌｉｓｅｔｈｅｄｉｓｃｒｉｍｉｎａｎｔｏｆｓｈｏｒｔ ｍｅｓｓａｇｅｓｃａｔｅｇｏｒｉｅｓ，ｔｈｕｓｔｈｅｆｉｌｔｒａｔｉｏｎｏｆｂａｄｓｈｏｒｔｍｅｓｓａｇｅｓｉｓｒｅａｌｉｓｅｄ．Ｉｎａｄｄｉｔｉｏｎ，ａｃｃｏｒｄｉｎｇｔｏｔｈｅｕｎｂａｌａｎｃｅｄｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔｒａｉｎｉｎｇｓｅｔ，ｗｅ ａｐｐｌｙｔｈｅｄｅｎｓｉｔｙｂａｓｅｄｉｍｐｒｏｖｅｄｍｅｔｈｏｄｔｏｓｏｌｖｅｔｈｅｃａｓｅｏｆｏｒｉｇｉｎａｌｃｌａｓｓｉｆｉｃａｔｉｏｎｒｅｓｕｌｔｓｗｈｉｃｈａｒｅｐｒｏｎｅｔｏｔｈｅｃａｔｅｇｏｒｉｅｓｏｆｂｉｇｓａｍｐｌｅｑｕｉｔｅ ｅｆｆｉｃｉｅｎ