关于AODE分类算法的任务实现.pdfVIP

基于 AODE 分类算法的任务实现 辛知∗ (南京大学 计算机科学与技术系, 南京 210093) Classifier Implement based on AODE * Zhi Xin (Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China) Abstract : This paper provides an approach based on AODE. Firstly, it gives out the analysis to the task, and then the evolution background from Naïve Bayes to AODE. Next part is about algorithm and data structure, also evaluation to AODE. Key words: Bayes Theory，AODE 摘 要: 本文提供了一个基于AODE 的解决方案，全文首先分析了问题，然后给出了AODE 算法由朴素贝叶斯 演变产生的背景，第三部分给出了算法以及数据结构的实现细节并讨论了精度的评价。 关键词: 分类， 中图法分类号: TP301 文献标识码: A 1 对问题的理解 本次作业的背景如下：各个国家都在经历一个从第二代网络技术（简称为2G ）过渡到第三代通讯网络( 即 3G) 的过程，一家亚洲的公司已经完成了它的3G 网络的铺设，现在它想知道已有的哪些2G 用户会转而使用 3G 的服务。 现在给出一个24,000 个用户的数据集，对每个用户提供了250 属性的描述（数据并不完备，有缺失的部 分），并全部给出了用户们使用网络的情况，即每一个用户都准确的知道他/她是2G 用户还是3G 用户。任务 的目标是对未知的 6,000 个用户，能够给出一个用户 ID 号的排序，这个序列预测了最可能到最不可能使用 3G 网络的排序。 这里首先明确一下本文的思路与内容。这是一个比较特别的分类问题，已知了一个标签齐全的训练集， 要对未知的测试集给出相应的可能性的排序。从标签的角度看，这属于监督学习过程，因为训练集的标签是 齐全的。特别地是，要排序就必须得到一个数值型的结果，自然地想到要使用能够输出概率的分类模型，再 用这个分类模型对测试集产生一个是3G 用户的概率排序，即得到了任务的结果。 我采用了AODE （Aggregating one-dependence estimators ）模型来预测概率，它通过弱化贝叶斯理论中参 数相互独立的假设来增加预测的精度，其背景将在第二部分介绍，实现细节将在第三部分加以介绍。另外， ∗ 作者简介: 辛知 2 第四部分中也提到了一些改进的想法。 2 对算法背景的介绍 2.1 简介 Thomas Bayes于18世纪提出了贝叶斯理论，这个理论描述了当已知一个事件发生，预测另一件事也发生 的概率的方法。Domingos, P与Pazzani, M基于贝叶斯理论提出了朴素贝叶斯分类算法[3], 这个算法具有简单、 迅速而有效的特点。但由于朴素贝叶斯是基于描述一个事件的属性都是相互独立的假设，与客观世界的情况 不符，因此精度尚有提高的空间，此后很多的研究者都在想法设法弱化这个假设。在这些改进工作中，有两 个取得了精度上的巨大进展，它们是LBR （Lay Bayesian Rules ）[1]以及SP-TAN （Super Parent TAN ）[2]。 LBR通过复杂的分类测机制来提高精度，而SP-TAN通过更准确的训练模型来改进精度，它们在获得精度 提升的同时也牺牲了效率，使得它们在实践中并不实用。 AODE 针对了 LBR 以及SP-TAN 的弱点，综合了两种算法的优点，提出了一个高效而精准的实用解决 方案。下面分四个小节，由贝叶斯理论出发逐步深入到AODE 的原理。 2.2 贝叶斯理论 其核心知识如下公式， P(y | X ) = P(X | y) P(y) / P(X) （1） P(y | X) 是 y 在X 已经发生下的条件概率，又称后验概率。以本任务举例来说就是，X 是用户属性的