基于决策树和内容识别短信过滤方法研究.docVIP

基于决策树和内容识别短信过滤方法研究 　　摘 要：随着移动通讯的快速发展，手机短信已经成为了人们日常生活中重要的信息传递方式之一。但是，随之而来的问题是大量的垃圾短信肆意泛滥，人们因为垃圾短信而造成的经济损失的事件也屡见不鲜，这已经严重影响了社会的正常秩序。因此，如何有效识别过滤垃圾短信，遏制其传播，已经成为了迫在眉睫的实际问题。本文将根据短信拦截的需求和短信的特性，在有限的资源条件下，运用决策树预测模型，设计并实现一个基于手机联网的短信应用，其主要功能包括收发短信、黑白名单拦截和基于内容识别实现的垃圾短信识别过滤。 　　关键词：垃圾短信；过滤；拦截；内容识别；决策树 　　基金项目：西南科技大学大学生创新基金项目资助 编号：CX15-024引言 　　移动通讯的高速发展，使得手机短信成为人民生活不可或缺的一部分，但大量的涉黄、违法、反社会的垃圾短信严重打扰了人们的正常生活和工作，同时也浪费了运营商的通讯资源和网络资源。 　　垃圾短信是指未经用户同意向用户发送的用户不愿意收到的短信息，或用户不能根据自己的意愿拒绝接收的短信息。其主要包含以下属性：（一）未经用户同意向用户发送的商业类、广告类等短信息；（二）其他违反行业自律性规范的短信息。依据《中华人民共和国电信条例》第五十六条规定的九种任何组织或者个人不得利用电信网络制作、复制、发布、传播含有下列内容的信息，均可视为垃圾短信。[1] 　　腾讯移动安全实验室的数据统计：“2015年上半年，腾讯手机管家用户举报垃圾短信达3.08亿，同比增长12.36%。如果将用户举报的垃圾短信用五号字串起来，长度可以从北京到广州往返29次。垃圾短信类别主要分为广告类、诈骗类、违法类与其他类4大类。2015年上半年，广告类垃圾短信占垃圾短信总比例达84.04%，诈骗短信占比11.98%，违法类占比1.92%，其他类占比2.06%。在垃圾短信当中，对用户危害最大的是诈骗短信。2015年上半年用户举报诈骗短信3692万，占垃圾短信举报总比的11.98%，诈骗短信依然在持续增长”。[2] 　　由这份安全报告可以看出，现在垃圾短信的问题越来越严重，已经给人们的正常工作和生活造成了巨大的干扰。 　　针对垃圾短信，通讯运营商传统的拦截策略有控制发送频率、关键词屏蔽、手机实名制等。在手机应用端拦截垃圾短信，主要是在短信应用里内置识别拦截垃圾短信的功能，其包含的主要识别分类方法有：黑名单、白名单、关键词检测和基于短信内容的检测等。通过手机端主动屏蔽带有欺诈性质的短信，一方面可以分担运营商的压力，另一方面也让使用手机的客户群最大程度免受垃圾信息的骚扰。 　　本文将结合内容识别和文本分类算法，设计并实现在手机端快速有效地拦截垃圾短信的一款手机软件，该软件可以有效屏蔽和过滤垃圾短信，改善用户体验，防止用户经济受损。 　　现有识别过滤手段分析 　　运营商的拦截手段：[3] 　　1）控制发送频率：拦截发送短信频率很高的不正常号码。根据工业和信息化部提供的最低标准：“非节假日每个号码可以发送的短信条数每小时不得超过200条，每天总量不超过1000条；而在节假日期间，每小时不超过500条，每天总量不超过2000条”。 　　2）关键词屏蔽：运营商可以通过检测短信内容来实现点对点垃圾短信的拦截，尽管这种做法缺乏行业的统一标准，但是这是最常用的过滤方式。 　　3）手机实名制：手机号码捆绑身份证，运营商和公安部门合作，快速且精确打击垃圾短信的源头。 　　对于运营商这些拦截手段，垃圾短信传播的方式也有相当的变化：大量购买SIM低频发送、复制卡发送、使用特殊表达方式（同音字、异型字、近体字、多音字），敏感内容用特殊字符分隔开等，导致手段1和手段2的效果并不理想；手段3确实是可行的方案，但是在偏僻的地方，由于运营商监管不足，仍存在出售黑卡的现象，因此垃圾短信并不能被杜绝和消灭。 　　手机应用软件拦截手段：[4] 　　1）设置黑名单和白名单：在服务器端或手机端建立数据库存储手机号码和被标注的状态。若短信号码是黑名单的号码，直接拦截；若短信号码是白名单号码，直接放过。这种方式明显要比运营商的号码拦截更具有针对性。 　　2）关键词的检测：方法与运营商的关键词的检测大致相同，不过由于需要处理的短信数量比运营商的要少，而且和现在手机的性能有很大的提升，所以识别效率更高，漏判率更低，对垃圾短信的针对性更强。 　　3）基于短信内容的检测： 目前常用的文本分类算法有朴素贝叶斯（NativeBayes），贝叶斯网络（BayesNet），决策树（C45或者CART），随机森林（RandomForest），神经网络（BP），支持向量机（SVM）等等。优点：准确率高，模型易维护；缺点：成本开销相对大，需要大量计算和预处理训练集。[