基于BP神经网络的多重邮件过滤系统的研究与设计.pdfVIP

基于BP 神经网络的多重邮件过滤系统的研究与设计 摘 要 随着互联网网络的高速发展，人与人之间在信息交流中使用电子邮件的频率与日俱 增，它逐渐成为一个重要的沟通媒介。但是，随着电子邮件的不断普及，伴随而来的是 垃圾邮件的泛滥，控制不好甚至会影响了人们的正常工作与生活。目前已有的垃圾邮件 过滤仍存在诸多不足，不能很好地将垃圾邮件区分过滤。针对这项不足，如何更好地加 强对垃圾邮件过滤技术的研究便显得尤为重要。 本次研究是要设计一种基于统计的邮件过滤系统模型。模型训练选用BP 神经网络 学习算法。实验过程对公共PU 语料库进行数据预处理和算法训练得到大量模型，接着 进行模型选择，最终通过模型组合得到垃圾邮件过滤系统主辅多重协同模型。邮件在该 模型的过滤过程中会被分成多股数据流进入FC 层，并分别在Output 层输出结果，再根 据子模型虚报率 （FALLOUT ）计算权值得到最终判断结果。 论文预处理过程包括了基于Hadoop 的词频统计、基于改进TF 算法的词典降维和向 量空间模型（VSM ）形式矩阵生成。词频统计得到总特征词列表、合法邮件特征词列表、 垃圾邮件特征词列表和每封邮件特征词列表。本研究针对数据预处理改进了传统的 TF