基于LVQ2神经网络及决策归纳的中文邮件过滤.pdfVIP

维普资讯 第 31卷 第9期 计 算 机 工 程 2005年 5月 Vo1．31 9 ComputerEngineering M ay 2005 · 开发研究与设计技术 · 文章编号：10o__3428(2005)0一l213．一l3 文献标识码：A 中田分类号：TP3914· 基于LVQ2神经网络及决策归纳的中文邮件过滤 王雨轩 (扬州大学附属 中学，扬州 225002) 摘 要：垃圾 邮件所带来的巨大经济损失及巨大的信息处理量已成为世界性的问题 。目前，国际上应用效果较好的过滤技术是基于贝叶斯 概率模型，但是 由于汉语极为复杂的语义环境和贝叶斯算法的易欺骗性 ，使得其不能很好地过滤中文垃圾邮件。对此，该文提出了一种综 合 LVQ2神经网络及决策树分类的过滤算法。实验结果表明，该算法可 以过滤 98 以上的中文垃圾邮件 。 关奠词：神经网络；决策归纳；垃圾邮件；过滤 FilteringChineseSpam—mailBasedonLVQ2NeuralNetworkand DecisionTreeClassifying WANG Yuxuan (AffiliatedMiddleSchoolofYangzhouUniversity，Yangzhou225002) [Abstract]Thegreateconomiclossesaswellasthearduousworkoninformationprocessingbroughtaboutbyspam--mailbecomesaworld——wide problem．Atpresent，someeffectivewaysoffilteringspam mailarebasedonBayesprobalitymode1．However，thecomplexityofChineseandthe deceitfulnessofBayesalgorithm makeitdifficulttofilterChinesespam—mail．Inthiscase，anewalgorithm basedonLVQ2neuralnetworkand decisiontreeclassifyingisputforward．Theresultofexperimentprovesthatthisalgorithm canfilterover98％ oftheChinesespare mail [KeywordslNeuralnetwork；Decisiontreeclassifyins；Spam—mail：Filter 垃圾邮件的问题由来 已久，目前已成为世界性的困扰 。 贡献又是不同的。为了提高分类精度，减少处理时问，就必 CNNIC公布的统计数字表明：中国网民平均每周收到垃圾邮 须进行向量维数压缩，提取对分类贡献大的词作为特征项。 件 8．9封，高出正常邮件数 7．2封。而它造成的经济损失更 论文采用了词和类别的互信息量作为筛选算法，公式为 是不可估量 。据美联社报道，垃圾邮件每年对美国、欧洲企 业分别造成89亿美元和 25亿美元的损失。垃圾邮件的过滤 c ( ] 已成为刻不容缓的问题 。 其中，Jp( )： 一 ，~wlq) 目前 ，国际上应用效果较好的过滤技术是基于贝叶斯概