浅谈中文垃圾邮件过滤系统设计与实现.docVIP

浅谈中文垃圾邮件过滤系统设计与实现 　　摘要：本文的研究目标是设计一个客户端的邮件解决方案，通过使用贝叶斯分类算法构建贝叶斯分类器，实现一个基于最小风险决策的贝叶斯分类方法的垃圾邮件处理系统。该系统主要完成收发邮件、识别垃圾邮件的基本功能，详细阐述了邮件预处理模块和邮件过滤模块的设计与实现。 　　关键词：中文分词；特征值；邮件过滤 　　 　　一、 设计目标 　　 　　本系统的目标是设计一个客户端的邮件解决方案，通过使用贝叶斯分类算法构建贝叶斯分类器，实现一个基于最小风险决策的贝叶斯分类方法的垃圾邮件处理系统。该系统主要完成收发邮件的基本功能，并利用该处理系统来识别垃圾邮件。同时，作为一种客户端反垃圾邮件解决方案，系统支持电子邮件客户端软件Outlook。其次，系统充分考虑了用户个性化的要求，不同的用户有自己对垃圾邮件内涵的不同理解和定义方式，用户可以决定对垃圾邮件的处理方式。再次，针对大多数用户的实际使用情况，本系统处理的重心主要放在中文邮件。最后，本系统还应该具备安装简单、容易配置和使用、界面友好等特点，对用户目前的使用习惯也充分考虑。 　　系统应具备的功能主要有：（1）接收邮件功能。本系统选择基于Outlook进行接收邮件，并设置了友好的界面，用户接收邮件后，可以使用本系统访问并读取用户邮箱中的邮件，并下载附件。（2）发送邮件功能。作为一个邮件处理系统，发送邮件功能是必不可少的，系统应有编辑邮件文本内容并发送邮件、添加附件的功能。（3）邮件识别功能。这是系统最关键的一项功能，在接收邮件同时，系统应有自动对用户邮件进行扫描、分析和对垃圾邮件识别的功能。要实现这一功能，需要完成对邮件内容的分词、提取特征词，然后使用预先训练好的贝叶斯分类器实现对垃圾邮件的识别。 　　 　　二、 邮件预处理模块的设计与实现 　　 　　对邮件的预处理主要分为两个过程：中文分词、特征词提取。 　　1. 中文分词设计与实现 　　中文分词在垃圾邮件过滤中担当着数据预处理的角色。分词的结果可以与垃圾邮件特征词匹配，判断其是否为垃圾邮件，因此中文分词的准确性直接影响电子邮件分类的准确度。这一部分的主要功能是选取中文邮件训练样本集（包括垃圾邮件和正常邮件），对垃圾邮件和正常邮件的文本内容进行分词，存入数据库。系统采用改进的基于词典的正向最大匹配分词算法，在正向最大匹配分词的基础上引入索引分词的思想，从而提高了分词的效率。由于正向最大匹配法是基于词典的字符串匹配方法，词典的好坏直接影响分词的效果，所以词典的组织加工尤为重要。为了提高分词的准确性和高效性，本文设计了三个词典：常用词词典、索引词典、停用词词典。 　　为了提高分词速度，对待分词邮件进行预处理，删除文本中的多余符号，将文本切分成句子。对每一个句子按经过改进的正向最大匹配方法进行分词处理，具体设计方法：（1）对邮件文本进行扫描，删除英文、数字、空格及特殊的标志字符。（2）将邮件文本中用于分隔语句的符号用空格代替。（3）取当前首字POS首字节计算索引值，根据当前匹配长度读入LEN个字（初始化LEN=4），根据索引值查找索引词典，取得词典偏移量，查找常用词词典。（4）如果未能找到且当前LEN≥2，则长度减一继续查找，直到LEN＜2，如还未找到则取当前汉字的下一个汉字POS=POS+1,重复（1）。（5) 如果查找成功，继续查找停用词词典，找到则去除停用词，否则更新特征词库，然后后移LEN个汉字POS=POS+LEN重复（3），直到结束。 　　2. 特征值选取 　　通过使用信息增益法对分词处理后得到的每个词汇计算信息增益值，根据计算结果提取一定数量的特征词建立垃圾邮件特征词库。 　　其算法过程如下所列：（1) 初始情况下，该特征项集合包含所有类中出现的词。（2）除低频词和高频词。（3）计算每个词的信息增益值。（4）对于所有的词，依据上面计算的信息增益值从大到小进行排序。（5）抽取一定数量的词作为特征项，具体需要抽取多少特征项，本文采用了先定初始值，然后根据实验测试和统计结果确定最佳值。本系统最终提取了300个特征词。（6）根据抽取出的特征词，建立特征词库。 　　 　　三、 邮件过滤模块的设计与实现 　　 　　1. 训练过程的设计与实现 　　对于训练样本集和测试样本集的选取，来源于中国教育科研网络中心计算机紧急响应小组提供的20 308封垃圾邮件和9 042封正常邮件。分别将语料库中的400封邮件（包括200封正常邮件、200封垃圾邮件）作为训练样本集，另外200封（包括100封正常邮件、100封垃圾邮件）作为测试样本集。 　　训练过程的基本步骤：（1）建立训练样本集，把训练样本集分类成为正常邮件和垃圾邮件，建立正常邮件样本集和垃圾邮件样本集。（2）对邮件样本集中的