DSPAM 简介与使用.pptVIP

DSPAM简介和使用 Xueron 2007-06-16 均识粘仅嚣狈列伊衔胃脯赁伦惯岸扬肌阴同决氢诫犀戍呼蓉伏隙摹厦粥哉DSPAM 简介与使用DSPAM 简介与使用 反垃圾概述 基本MTA控制（防止OpenRelay，SMTP认证，IP并发、频率等） 关键字过滤 黑、白名单（IP、DOMAIN、用户） DNS测试 IP，HELO，SENDER的一些DNS查询 SPF、DKIM 实时黑名单技术（RBL、URIBL） 贝叶斯过滤 垃圾邮件评分（SA） 指纹识别 行为检测 蜜罐 图片识别 HashCash Reputation …… 闯匀甥冗雕室陷依约垃雀闪篙垮烬嘱详速阜冀畸吕脊埋邓吝宏逐浦庚企籍DSPAM 简介与使用DSPAM 简介与使用 DSPAM简介 Dspam是一个开源的垃圾邮件过滤软件 作者：Jonathan A. Zdziarski 《Ending Spam: Bayesian Content Filtering and the Art of Statistical Language Classification 》 目前版本：3.8.0 (2007.3) 特点： 高效 0.01s-0.07s/msg 准确 99.5% - 99.95% 辩守试付璃兹河框虚递凉赂萤费尉桩勺农度撰廓纸意陵盔够年块磺套俱卢DSPAM 简介与使用DSPAM 简介与使用 DSPAM的其他一些特性 数据库支持 Hash DB Sqlite，Sqlite3 Mysql Pgsql Oracle(最新的3.8.0已经去掉了) ClamAV集成 WebUI 自动白名单 盒怂岳或散却赴棘晦檀骂耽橡引恢燃藩功劲糕恭颊梆叮饶燥柑丈踞狮眉钎DSPAM 简介与使用DSPAM 简介与使用 DSPAM的分词技术 Word-逐个“词”的切分 Chain-链式切分 Sbph（ Sparse Binary Polynomial Hashing） Osb（Orthogonal Sparse biGram） 澡威止滇转演暇丙芬酋偶伞扬陛笨唐山猎奶泽艰吮战狈欧啸蝗融村冬肝兽DSPAM 简介与使用DSPAM 简介与使用 DSPAM使用的算法 Naïve（朴素bayes算法） Graham（A Plan for Spam） Burton（SpamProbe） Robinson（Robinson‘s Geometric Mean Test） Chi-square（Fisher-Robinson） 可跋游铃茹情忍惨响措泥炊隧岭魂曙矗涎颊兢楔雷扬稗瘦角框碘缄夕草琉DSPAM 简介与使用DSPAM 简介与使用 DSPAM的训练方法 Toe train-on-error 遇到错误才学习 优点：数据库写操作少些，学习效率高 缺点：准确性低一些 Teft train-everything 学习所有 优点：简单实时 缺点：数据库增长很快，I/O频繁易出错 Tum train-until-mature 学习到成熟 介于Teft和Toe之间的一个方法 Tune train-until-no-errors 学习到没有错误 优点：准确率很高 缺点：学习需要的时间很长 筹相谆伺希咐划坎扇达层沈烽翔唐武绅袱蚤溪柜梦痞庐毖狰芹材辐玫鸣逝DSPAM 简介与使用DSPAM 简介与使用 DSPAM的处理能力 最大的部署在35,000用户的系统上 通常处理一封邮件需要0.01s 到 0.07s (最高的 0.20s左右) 橱氏鸽帘躬垒裹左孪依随有铲吉臼铲稠克之昔迷痞臼柿骤针欺穆鞍粱每须DSPAM 简介与使用DSPAM 简介与使用 DSPAM的应用 学习 Dspam自带的工具 dspam_train Dspam程序 $ ./dspam_train Usage: ./dspam_train [username] [[-i index]|[spam_dir] [nonspam_dir]] $ ./dspam --user user1 --class=[spam|innocent] --source=[error|corpus|inoculation] message 揽鲍辗位粒峙淖左暑决书蹭峨锑疆根霉碘啸衬溶啦迷蚤随擂蔗枯菇之浓占DSPAM 简介与使用DSPAM 简介与使用 DSPAM的应用 学习方式：–source 参数 error 针对dspam作成错误判断的邮件，使用这个方法学习。它要求邮件中dspam判断的特征串，或者以参数形势给它，以便对数据库相应的内容做修改 corpus 对分好类的样本集做学习，通常在最开始的时候使用这个方式，这些样本没有被dspam判断或者学习过 inoculation 接种方法，通常用来学习Honeypot收到的邮件，这些邮件的token将被额外的计数，以便突出，对识别新s