基于客户端的个性化邮件再过滤系统-中国科学信息科学.PDF

中国科学: 信息科学 2018 年 第48 卷 第12 期: 1681–1696 论文 基于客户端的个性化邮件再过滤系统 * 徐丹丹 陈松灿 南京航空航天大学计算机科学与技术学院, 南京 211106 * 通信作者. E-mail: s.chen@ 收稿日期: 2018–05–28; 接受日期: 2018–08–22; 网络出版日期: 2018–12–04 国家自然科学基金项目(批准号: 资助 摘要 电子邮件是一种必不可少的通讯工具 但是众多的垃圾邮件会严重影响用户的工作和生活 甚至还会造成财产损失 由于兴趣、爱好的不同 用户对垃圾邮件的定义可能存在巨大差异 因此实 现个性化垃圾邮件过滤成为目前邮件过滤领域研究的重要课题 当出现邮件错滤情况 用户不得不 手动修改 这给用户体验带来了极大不便 为了有效解决上述问题 并实现个性化邮件过滤及错滤邮 件自动修改等功能 本文结合规则和统计方法提出了一种基于客户端的个性化邮件再过滤系统 大 部分现有的垃圾邮件过滤器仅对邮件数据流进行在线过滤 而未考虑不同邮箱的邮件类先验存在差 异和类不平衡问题 本过滤系统首先对进入收件箱和垃圾箱的邮件进行分别处理 然后基于多任务 学习原理设计了两个互学习的过滤器分别用于收件箱和垃圾箱的邮件再过滤 并对错滤邮件进行自 动修改 同时 为保证在随时间变化的用户兴趣点和邮件数据分布情况下过滤器的性能 设计了结 合重要性加权的多窗口学习框架 从而有效实现了过滤器的动态自适应 最后 在 和 数据集上验证了我们所提出的过滤器拥有显著的过滤效果 关键词 垃圾邮件过滤 个性化邮件再过滤 自动修正 重要性加权 多任务学习 多窗口学习框架 引言 电子邮件作为一种快速、有效、便捷的交换信息的方式 成为人们生活、学习、工作必不可少的 通讯工具 人们对电子邮件的依赖也导致 非法邮件 即垃圾邮件 的产生 这些垃圾邮件通常指的 是未经允许大量发送到用户邮箱的邮件 一些早期的研究表明 垃圾邮件已经占据所有邮件的 近期统计显示其比例可能达 不仅浪费网络传输带宽 增加了互联网使用成本同时也影响到人 们日常工作和生活 近年来垃圾邮件过滤技术得到了快速的发展 一定程度上缓解了非法邮件对用户 的影响 引用格式 徐丹丹 陈松灿 基于客户端的个性化邮件再过滤系统 中国科学 信息科学 ⃝ 《中国科学》杂志社 徐丹丹等: 基于客户端的个性化邮件再过滤系统 过去几十年中 已有众多有效的过滤器用于垃圾邮件过滤 然而据调查 现有的主流邮件过滤 系统仍存在错滤情况 如垃圾箱中存入了正常邮件 而收件箱收到了垃圾邮件 这种邮件误判问题仍是 邮件过滤领域未能解决的难题 导致这种问题的主要原因可归结为如下 个方面 首先 垃圾邮件制 造者为了躲避过滤器的检测 不断地改变垃圾邮件的内容特征 导致数据分布随时间发生改变 其次 垃圾邮件过滤可看作是面向文本二分类问题的一种 但又不同于一般的文本分类 因为垃圾邮件过滤 存在很大程度上的个性化差异 不同用户对同一封邮件可能有着截然不同的分类结果 全局统一的 二值过滤标准不能满足所有用户对邮件的主观评判 例如 急需学习日语的张三对推广语言学习网站 的相关邮件感兴趣 将其作为正常邮件 而李四则没有这样的需求 所以同样内容的相关邮件 对他而言就是垃圾邮件 导致不同用户收到同样类型的邮件产生不同的类标记 最后 用户对 于收到的邮件是否是垃圾邮件 与其现阶段的兴趣点相关 即不同时间段 一个用户的兴趣点会发生变 化 对同类型的邮件根据主观因素会有个性化标记 例如