基于贝叶斯理论数据挖掘方法在电子邮件分类中应用研究.docVIP

基于贝叶斯理论的数据挖掘方法 在电子邮件分类中的应用研究 摘 要 伴随着人类社会进入信息时代，电子邮件作为便捷快速的信息传递方式， 已经成为现代社会商务、生活不可或缺的一部分。然而电子邮件正被利用发送 一些它的接收者并不需要、并不想接收的信息，所谓垃圾邮件，粗略地讲，是 指那些不管接收者是否要求发送、是否愿意接收而大量发送给数以千计的接收 者的电子邮件。垃圾邮件的数量在近年来成指数级别增长，人们不得不着手解 决垃圾邮件带来的问题。 应对大量垃圾邮件带来的挑战，很多反垃圾邮件技术和方法出现了。反垃 圾邮件技术，或者说电子邮件过滤技术，本质上是电子邮件分类技术。电子邮 件分类系统从最初只能进行简单的基于静态规则的分类，逐步发展到利用数据 挖掘方法，针对垃圾邮件发送的内容和发送垃圾邮件的行为进行自动学习、识 别和判断，动态地生成和调整分类电子邮件的规则，智能地进行分类。在电子 邮件分类领域应用数据挖掘方法是目前学术界和工业界研究的热点。 在电子邮件分类领域，从实际的应用条件，如存储空间，响应速度和计算 复杂度等角度来看，以贝叶斯理论为基础的基于邮件内容的过滤分类技术是目 前的主流和最重要的技术。本文的研究从数据库知识发现的角度出发，在电子 邮件分类领域，从选择目标数据、预处理数据、转化数据入手，进行数据挖掘 以提取模式和关系，解释并评价所发现的关系在预测中的效果；分析、研究、 比较、评估基于贝叶斯理论的不同的模式和关系，在实践中观察、调整、改进 有监督机器学习的步骤、参数。 -1- 本文深入地研究了基于贝叶斯理论的数据挖掘方法在电子邮件分类中的具 体效果和相关细节。首先，探讨了电子邮件的分类模型和分类基本假设；然后， 讨论了电子邮件的特征提取，包括文档频次和信息增益两种方法，同时根据经 验方法进行了特征约简；最后，比较研究了三种基于贝叶斯理论的分类算法， 关注特征提取方法的不同，特征重要性的判别标准不同，采用的特征的不同类 别对分类算法的影响。同时也检验了有监督学习训练的效果。 通过本文的研究工作，以电子邮件分类应用为样本的一整套基于贝叶斯理 论的数据挖掘分类方法的应用系统初具雏形，整个机器学习、数据挖掘领域需 要考虑的特征提取、学习训练、分类器设计、性能评估、反馈改进等各个环节 都给出具体的方法和需要考虑的关键细节，并通过实验的方式进行了经验验证。 虽然本文的研究只是针对电子邮件分类这个特殊的领域，但是文中所采用的数 据挖掘方法具有应用上的普遍适用性，可以广泛地应用到各种各样的分类的领 域，比如信用风险评估、欺诈行为侦测，甚至应用到股价预测评估当中。针对 各种各样的分类应用领域，本文提供了一个普遍适用的、经过经验验证的、数 据挖掘领域基于贝叶斯方法的应用框架。 关键词：邮件分类；机器学习；统计学习；数据挖掘；贝叶斯 -2- RESEARCH ON PRICING STRATEGY IN DIFFERENT COLLECTION CHANNELS IN CLOSED-LOOP SUPPLY CHAINS WITH PRODUCT REMANUFACTURING ABSTRACT With the human society steps into the information era, the email has taken more and more important role in our business and life. The email has brought us fast, cheap and convenient communication channels, but at the same time, the email is being used to transmit the information to someone who does not want to receive. This kind of email is the so-called junk mail, or the spam. The spam has boosted in the recent years, and also brought many technical and social problems. Recently, the problems have become more severe that people have to face and tackle. Coping with the challenges posed by large spam, a lot of anti-spam technologies arise. Anti-spam technology, or email filtering