垃圾短信论文：浅析支持向量机的垃圾短信过滤方法研究.doc

垃圾短信论文：基于支持向量机的垃圾短信过滤方法研究 【中文摘要】随着手机的普及使用,手机短信业务已经成为人们重要的信息交流方式之一。然而,随之而来的问题是垃圾短信大量泛滥,日益猖獗,严重干扰到人们的正常生活,同时也影响社会的稳定团结。如何从技术上对垃圾短信进行过滤拦截,制约垃圾短信的传播,已经成为亟待解决的现实问题。本文从短信文本内容角度出发,将垃圾短信过滤看作短信文本的两类识别问题(即识别短信是否属于垃圾短信的过程),结合短信的特点,引入支持向量机方法,提出了基于支持向量机的垃圾短信过滤方法。该方法依据短信内容作为出发点,利用支持向量机算法对短信文本进行分类识别,进而完成对垃圾短信的过滤。本文的主要工作包括:1.针对传统垃圾短信过滤方法存在的分类精度低,自适应能力差等缺陷,提出了基于支持向量机的短信分类方法,描述了实现的步骤,并对所涉及关键技术,包括特征降维方式,文本表示方法以及分类算法等,进行了深入研究,并通过实验确定适应于支持向量机短信分类的惩罚参数以及核函数。2.针对标准支持向量机方法在短信分类中存在的特征重复,噪声干扰等问题,提出了改进办法。该方法利用支持向量机对短信是否包含关键特征进行识别,将识别结果加入到原始特征空间,并进行重复特征及... 【英文摘要】With the popularity of cell phone use,the SMS has become the important way for people’s communication .However, a large number of spam messages have also appeared at the same time which badly affects not only the people’s normal life, but also the social stability and unity. How to filter spam messages technology on the block, which restricts the spread of spam messages has become an urgent and realistic issue.Combining with the characteristics of SMS and using the method of SVM; this article take the v... 【关键词】垃圾短信 短信过滤 支持向量机 特征降维 核函数 【英文关键词】spam messages SMS filter SVM feature reduction kernel function 【目录】基于支持向量机的垃圾短信过滤方法研究 致谢 4-5 摘要 5-6 Abstract 6-7 1 绪论 11-17 1.1 选题背景 11-12 1.2 垃圾短信整治现状 12-14 1.2.1 垃圾短信监管概况 12 1.2.2 垃圾短信过滤技术现状 12-14 1.3 研究内容 14-15 1.4 论文组织 15-17 2 垃圾短信及其过滤方法 17-25 2.1 垃圾短信及特征分析 17-18 2.1.1 短信的格式 17 2.1.2 垃圾短信的特征分析 17-18 2.2 垃圾短信过滤端口 18-20 2.2.1 短信工作原理 18-19 2.2.2 垃圾短信过滤机制 19-20 2.3 垃圾短信过滤方法 20-23 2.3.1 基于流量控制方法 20-21 2.3.2 基于关键词匹配方法 21 2.3.3 基于黑白名单过滤方法 21-22 2.3.4 基于内容的垃圾短信过滤方法 22-23 2.4 本章小结 23-25 3 基于支持向量机的垃圾短信过滤方法 25-55 3.1 支持向量机理论及其模型 25-32 3.1.1 统计学习理论 25-28 3.1.2 支持向量机基本思想 28 3.1.3 支持向量机数学模型 28-32 3.2 基于支持向量机的短信分类方法 32-43 3.2.1 短信预处理 33-34 3.2.2 短信特征降维 34-38 3.2.3 短信的文本表示 38-40 3.2.4 构建分类器 40-41 3.2.5 支持向量机的反馈学习 41-43 3.3 评价标准及实验分析 43-47 3.3.1 实验环境 43 3.3.2 实验数据 43 3.3.3 评价标准 43-44 3.3.4 特征降维方法实验结果及分析 44-45 3.3.5 惩罚参数实验结果及分析 45-46 3.3.6 核函数实验结果及分析 46-47 3.3.7 支持向量机与神经网络方法实验比较 47 3.4 支持向量机短信分类方法遇到的问题及改进办法 47