基于神经网络的中文垃圾邮件过滤系统研究.docVIP

基于神经网络的中文垃圾邮件过滤系统研究 　　摘要：垃圾邮件的泛滥，耗费大量的服务器资源，给用户的正常使用带来极大的危害。该文提出了使用BP神经网作为邮件过滤的分类算法，通过遗传算法优化BP神经网，提高神经网络的学习能力；同时，结合中文分词工具，设计并实现了针对中文邮件的过滤系统。最后，使用样本邮件集合，对系统进行训练和测试，并对测试结果进行分析和对比。通过对系统的测试分析，证明过滤算法对中文垃圾的邮件具有比较高的查全率和准确率。 　　关键词：垃圾邮件; 中文分词; BP神经网; 遗传算法 　　中图分类号：TP18 文献标识码：A文章编号：1009-3044(2011)08-1875-03 　　Research on the System of Chinese Spam Filtering Based on Neural Net 　　YE Yan1, LI Pei-guo2 　　(1.Zengcheng College of South China Normal University, Guangzhou, 511363, China; 2.Department of mathematics, Jinan University, Guangzhou 510632, China) 　　Abstract: The flooding spams take up huge Internet resource and user time. Especially some virus-spams, they can disable some normal Internet service, or attack user’s computers. It introduces BP neural network as the filtering algorithm, optimized by the Genetic Algorithm. With Chinese word segmentation, it designs and implements a Chinese email filter. At last, it performs training and testing using sample emails, and analyses the testing result. The result indicates that the filtering algorithm has good recall and precision ratio. 　　Key words: Spam; Chinese word segmentation; BP Neural Networks; Genetic Algorithm 　　电子邮件是互联网最重要、最普及的应用，大大方便了人们的生活、工作和学习。然而，近些年来，垃圾邮件成泛滥的趋势。据中国互联网协会反垃圾邮件中心统计[1]，截止2010年7月，中国互联网用户收到的垃圾邮件比例约为40%，这些垃圾邮件花费用户大量的时间和精力来处理，给正常的使用带来了诸多的麻烦；对于企业来说，垃圾邮件会造成巨大的经济损失，尤其是带有病毒的邮件，更是带来了巨大的危害。 　　当前的垃圾邮件过滤技术，主要包括以下几类：关键词过滤，黑/白名单[2]，逆向域名验证，基于规则过滤[3]，特征词统计，等等。以上方法，分别在各种特定的情况下，能够达到一定的过滤效果。但是，随着垃圾邮件制造者的技术提高，以上的各种方法都存在各自的缺陷，不能达到很好的过滤效果。 　　本文采用基于邮件内容的过滤算法，无论任何伪装的情况下，邮件的内容是无法改变的，否则就无法达到发送者的目的，因此，基于内容的过滤算法能够在各种情况下，达到过滤效果。同时，引入BP神经网络作为过滤算法，利用BP神经网的自组织、自学习和联想存储等特点，设计并实现垃圾邮件过滤系统。同时，针对BP神经网在训练过程中，容易陷入局部最优解的问题[4]，引入遗传算法来对BP神经网络进行优化，利用遗传算法的全局搜索能力，进一步提高BP神经网络的学习能力[5]。针对中文自身的特点，在过滤系统中，加入针对中文的自动分词模块，实现针对中文垃圾邮件的过滤。 　　1 过滤系统的设计 　　过滤系统的主要思想：通过分析邮件的正文内容，提取其中的特征词汇，通过过滤模块进行垃圾邮件的识别；同时，加入了针对中文邮件的自动分词模块，达到对中文垃圾邮件的过滤；系统架构如图1所示。 　　1.1 系统的流程 　　系统的流程主要包括两个过程：过滤系统的训练过程和未知邮件的过滤过程，分别如下： 　　1.1.1 过滤系统训练 　　首先对邮件样本集进行预处理，得到待处理的样本邮件；然后通过中