深度置信网络在垃圾邮件过滤中的应用.docVIP

深度置信网络在垃圾邮件过滤中的应用 　　摘 要：针对深层神经网络初始化方法不明确、泛化能力差而导致解决垃圾邮件过滤时效果较差的问题，提出了基于深度置信网络的分类方法。深度置信网络通过逐层无监督的方法来预训练网络，实现了网络的初始化。在LingSpam，SpamAssassin和Enron1三个广泛使用的数据集上，通过与目前最好的垃圾邮件过滤方法支持向量机（SVM）在分类性能上进行比较，实验结果表明深度置信网络的垃圾邮件过滤方法是有效的，获得了较高的准确率和召回率。 　　关键词：垃圾邮件；深度置信网络；分类；受限玻尔兹曼机；支持向量机 　　0 引言 　　电子邮件的速度快、成本低等优势使其成为人们用于思想和信息交流的强大工具，然而伴随而来的垃圾邮件成为当今网络的一个重要问题[1]。根据Ferris的研究估计，垃圾邮件数量占美国一家企业组织总电子邮件的15%至20%。在这样的情况下，垃圾邮件造成了大量的带宽浪费和邮件系统超载。由于以上严重问题，必须采取措施来解决垃圾邮件现象。已有研究证明最好的方法是垃圾邮件过滤。 　　通常有两种邮件过滤的方法：知识工程（Knowledge Engineering， KE）以及机器学习（Machine Learning， ML）。基于第一种方法的垃圾邮件过滤通常使用预定义的集合和用户定义的规则，这样的规则尝试识别信息中垃圾邮件的典型特点；然而，已经证明在实践中该方法的泛化能力较差。 　　实验表明机器学习分类器具有更好的性能，因此大量的分类方法被提出来实现垃圾邮件检测任务。Puniskis等[2]将神经网络方法应用到垃圾邮件分类。也有其他研究人员将朴素贝叶斯法（Naive Bayes， NB）和支持向量机（Support Vector Machine， SVM）[3-9]应用到垃圾邮件分类任务中。深度置信网络（Deep Belief Net， DBN）是拥有深层架构的前馈神经网络，其中包含多个隐含层，而使用DBN的障碍在于如何训练这样的深层网络。通常情况下，由于网络权值的随机初始化，基于梯度的优化容易陷入局部最小值[10]。Hinton等[11]提出了一种新的贪婪逐层非监督算法来初始化基于受限玻尔兹曼机（Restricted Boltzmann Machine， RBM）的DBN。这个算法提供了网络权值的初始化方法，随后使用基于梯度的算法如梯度下降法来微调网络权值。研究指出，DBN初始化方法的有效性在多个数据集中得到验证[12]。 　　在受限玻尔兹曼机的快速学习算法的驱动下， 本文提出了使用深度置信网络来解决垃圾邮件问题，并且在三个充分研究的垃圾邮件数据集上评价分类方法的性能。将本文的算法和较好的垃圾邮件检测方法支持向量机分类器[13]进行比较，结果表明，基于深度置信网络的方法表现出和SVM相似的性能或者说比SVM更好的性能。 　　1 深度置信网络分类 　　人工神经网络（Artificial Neural Network， ANN）研究主要关注的是训练网络来找到正确的权重，可以正确地将输入样本分类。最成功的算法是著名的反向传播（Back Propagation，BP）算法。反向传播的问题是：ANN代表一个f（X，W）的非线性映射，其中：X是输入向量，W是整个网络的权重矩阵。随着网络层数的增加，函数f变得越来越复杂，如此一来将得到多个局部最小值。反向传播算法根据权重W的初始化来收敛到某一最小值，但有时它会收敛到一个表现差的局部最小值而不是全局最小值。对于一些人工智能任务，有些局部最小值是没有问题的，但是有些是不可以接受的。此外，随着网络层数的增加，训练时间变得越来越长。反向传播的另一问题是它需要大量的标签数据，这对于许多需要分类的人工智能任务来说是不可能的。对于之前提到的问题，Hinton等[11]基于DBN和RBM介绍了一种快速学习算法来训练深度人工神经网络。 　　1.1 深度置信网络模型 　　DBN由多层RBM和一层BP神经网络构成，它的结构如图1所示。其中，多层RBM网络采用无监督的学习方法，而BP神经网络采用有监督的学习方法。自底向上每一层RBM对输入数据进行提取、抽象，尽可能保留重要信息，将最后一层RBM网络的输出信息作为BP神经网络的输入数据。由于每层RBM训练只能使该层网络参数达到最优，而不能使整个网络达到最优，因此本文使用有监督的BP神经网络将误差反向传播，自顶向下微调整个模型。同时，经过若干层RBM网络优化得到的信息作为BP神经网络的输入数据，解决了BP神经网络由于随机初始值容易陷入局部最小值和收敛速度慢的问题。DBN网络是一种深层学习模型，增加RBM网络的层数，可以使提取的信息更抽象，网络的精度更高。 　　3.3 实验结果 　　下面描述DBN和SVM训