基于改进贝叶斯模型的中文邮件分类算法-中国科技论文在线.PDFVIP

中国科技论文在线 !!!!!!!! ! ! ·网络、通信与安全· !!!!!!!! 基于改进贝叶斯模型的中文邮件分类算法 王 宁，张建忠，何 云，申庆永，徐敬东 南（开大学 计算机科学与技术系，天津 300071） E-mail：wangn@ 摘 要：通过分析常见的贝叶斯分类方法和实现模型，提出了一种适用于中文邮件的分类算法———基于混合模型的最小 风险贝叶斯方法。混合模型将二项独立模型和多项式模型相结合，提高邮件分类的查全率，同时，在此基础上应用最小风 险贝叶斯方法，进一步提高准确率。实验表明，应用改进的方法可以得到更准确的邮件分类效果。 关键词：邮件分类；中文分词；最小风险；混合模型；贝叶斯 文章编号：1002-83312（006）31-0097-04 文献标识码：A 中图分类号：TP393 Algorithm ofChineseMailClassificationBasedon ImprovedBayesianModel WANGNing，ZHANGJian-zhong，HEYun，SHENQing-yong，XUJing-dong D（epartmentofComputerScienceandTechnology，NankaiUniversity，Tianjin300071，China） Abstract：WithstudyingsomepopularmethodsandmodelsforBayesianapproach，onekindoftextclassificatory algorithmthepaperproposedanewalgorithmwhichwasfitforChinesemails，riskminimizationBayesbasedonhybird model.ThehybirdmodelunifiedBinaryIndependenceModelandMultinomialModel，improvedtherecallofmailfilter，in themeanwhile，usingtheriskminimizationBayesonhybirdmodel，improvedtheprecision.Theresultofexperiments demonstratesthatthenewalgorithmgainsbetterperformanceinmailclassification. Keywords：mailclassification；Chinesewordsegmentation；minimumrisk；hybridmodel；Bayes 1 引言 合模型，并分别将朴素贝叶斯和最小风险贝叶斯方法应用于此 电子邮件作为Internet中最常用的服务之一，给生产和生 模型，通过完整的实验过程对不同分类器的分类效果进行了 活带来极大的便利，同时也引发了垃圾邮件的泛滥。据统计，我 比较。 [1] 国已成为全球第二大垃圾邮件受害国 。 传统的反垃圾邮件技术 （包括SMTP用户认证，逆向名字 2 准备工作 解析，实时黑名单过滤，可信白名单等技术）对垃圾邮件的过滤 2.1 文本的表示 效果都不尽如人意。实际上，垃圾邮件的致命缺陷就是邮件内 文本分类是有监督的学习任务，任何文本分类算法在学习 容本身。垃圾邮件制造者可以通过伪造信头等方式绕过任何反 之前，都要将文本以一种合适的形式表示出来，使其适应于分 垃圾邮件技术所设下的其它障碍，但是他们必须传达一定的信 类算法。本文采用向量空间模型 （