概率神经网络的结构优化研究及其应用.pptVIP

四.基于PNN的垃圾邮件过滤系统 1.基于PNN的垃圾邮件过滤系统结构 邮件预处理：分析邮件结构、抽取邮件正文、 中文分词 特征提取：改进的TFIDF方法 PNN分类器：分别采用Kmeans、EM和LVQ算法， 以及提出的竞争学习算法来设计PNN 分类器，对邮件进行分类。 四.基于PNN的垃圾邮件过滤系统 2.邮件分类实验——评价体系 本文采用了三种评价方法对实验结果进行评估 (1) 准确率 对所有邮件，包括垃圾邮件和合法邮件的判对率 。 (2) 误报率 正常邮件被判成垃圾邮件占所有正常邮件的百分比。 (3) 漏报率 垃圾邮件被判为正常邮件占所有垃圾邮件的百分比。 四.基于PNN的垃圾邮件过滤系统 2.邮件分类实验——实验采用的数据集 邮件语料库：中国教育和科研计算机网紧急相应组(CCERT) 发布 数据集划分： 大规模数据集 小规模数据集 训练集样本总数 16000 2000 训练集中垃圾邮件数目 8000 1000 训练集中垃圾邮件数目 8000 1000 测试集样本总数 2400 1400 测试集中垃圾邮件数目 1200 700 测试集中垃圾邮件数目 1200 700 四.基于PNN的垃圾邮件过滤系统 3. 实验及结果分析 本文共进行了六组实验： 第一组：原始PNN邮件分类 第二组：Kmeans-PNN和Kmeans-COMPETE-PNN邮件分类 第三组：EM-PNN和EM-COMPETE-PNN邮件分类 第四组：LVQ-PNN和LVQ-COMPETE-PNN邮件分类 第五组：PCA对PNN邮件分类的影响 第六组：结构优化PNN与原始PNN结果比较 第一组：原始PNN邮件分类 原始PNN邮件分类：测试结果受平滑因子影响较大；训练样本的分类结果明显优于测试样本结果；网络结构复杂，小样本集下共2000个隐层神经元。 平滑因子 训练精确率 训练误报率 训练漏报率 测试精确率 测试误报率 测试漏报率 0.1 77.80% 1.00% 43.4% 77.80% 3.00% 41.43% 0.2 95.65% 8.00% 0.70% 91.30% 14.86% 2.57% 0.5 98.10% 3.80% 0 74.50% 48.29% 2.71% 1 99.40% 1.20% 0 82.10% 30.14% 5.71% 2 99.75% 0.50% 0 84.10% 23.57% 8.29% 5 99.75% 0.50% 0 73.10% 13.57% 40.14% 10 99.75% 0.50% 0 67.40% 2.00% 63.29% 第二组：Kmeans-PNN和Kmeans-COMPETE-PNN邮件分类 精确率比较：Kmeans-COMPETE-PNN精确率基本要高于Kmeans-PNN 第二组：Kmeans-PNN和Kmeans-COMPETE-PNN邮件分类 误报率和漏报率比较：Kmeans-COMPETE-PNN在误报率与Kmeans-PNN相近的情况下，漏报率降低幅度较大。 第三组：EM-PNN和EM-COMPETE-PNN邮件分类 精确率比较：EM-COMPETE-PNN精确率基本要高于EM-PNN 。 第三组：EM-PNN和EM-COMPETE-PNN邮件分类 误报率和漏报率比较：EM-COMPETE-PNN与EM-PNN相比，在漏报率相近的情况下，误报率下降幅度较大；误报率相近的时候，漏报率下降幅度较大 。 第四组：LVQ-PNN和LVQ-COMPETE-PNN邮件分类 精确率比较：LVQ-COMPETE-PNN精确率基本要高于LVQ-PNN 。 第四组：LVQ-PNN和LVQ-COMPETE-PNN邮件分类 误报率和漏报率比较：EM-COMPETE-PNN的漏报率和误报率基本均要低于EM-PNN 。 第五组：PCA对PNN邮件分类结果的影响 Kmeans-COMPETE-PNN：200维 EM-COMPETE-PNN：150维 LVQ-COMPETE-PNN：50维 维数降低而精确率有所提高：样本中含有冗余特征。 第六组：结构优化PNN与原始PNN结果比较 原始PNN精确率：最高91.30% ，最低67.40%，2000个隐层神经元 Kmeans-COMPETE-PNN: 10个隐中心数目，精确率94.79% EM-COMPETE-PNN：5个隐中心数目，精确率92.86% LVQ-COMPETE-PNN：10个隐中心数目，精确率93.71%