谁会使用3G网络数据挖掘实验报告.pdf

谁会使用 3G 网络：数据挖掘试验报告 徐忠华∗ (南京大学 计算机科学与技术系, 南京 210093) Who will be 3G users: A Report of Data Ming Experiment * Zhong-Hua Xu (Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China) Abstract : This report presents my solution to DataMing experiment. Following a brief description on the task, I propose my understanding and analysis on this experiment. Since it can be solved independently in different ways, how to get a high precision solution is a difficult task. Based on ten-fold cross-validation, I try to use twice-learning scheme and Voting scheme to increase precision. Key words: data mining, twice-learning, bagging, boosting, Vote 摘 要: 这是一篇数据挖掘实验的报告，首先描述了实验的任务，然后阐述了我的想法。在用不同的方法得 到解决方案之后，我试图用二次学习和投票来对算法进行改进，这样会得到更好的准确度。. 关键词: 数据挖掘, 二次学习, 装包, 投票 中图法分类号: TP301 文献标识码: A 1 引言 这次数据挖掘实验的要求大体表述如下： “我们正在使用的手机网络是2G 的，如 GSM ，正如你所看到的一样，3G 移动网络正在向我们走来， 如 CDMA 。一个亚洲的电信公司以成功地组建起了 3G 的移动通讯网络。公司想通过已有的客户的使用情况 确认一下哪些客户会转而使用 3G 网络。” 这和PAKDD 2006 Data Mining Competition 的题目很相似，我们使用的数据集合源自于此。这里有三个数 据，分别是：attribute description file [12KB] : description of the 251 attributes ；training data [5MB] : each line is a sample (an instance), 18,000 samples in all ；test data [1.66MB] : each line is a sample (an instance), 6,000 samples in all 。 我的任务是：尽可能正确地预测 test data 中每个例子的缺失属性。在预测了缺失属性的值后，把最有可 能的成为 3G 用户做一个从高到低的排序。 这篇报告讲述我对这个问题的理解、分析和解决的思路方法。报告分成以下几个部分：第一段是引言， 第二段讲述我对这个问题的理解和分析，第三段阐述我的设计的最终模型，第四段给出总结。 ∗ 作者简介：徐忠华 (1985- ),男,江苏南通人,南京大学计算机系硕士研究生,主要研究领域为数据库。 2 2 理解和分析 2.1 问题的理解 这是一个分类和回归数据挖掘的问题。关于分类，是根据数据集合的特点构造一个分类器，利用分类器 对未知的样本赋予类别的一种技术。构造分类器的过程一般分为模型训练和使用模型分类两个步骤。在训练 阶段，分析训练数据集合的特点，为每个类别产生一个向对应的数据集的准确描述或模型，在测试阶段，利 用类别的描述和模型对测试数据集合进行分类测试其分类的准确度。 在本实验中，采用辅助的分析软件 WEKA 对算法进行分析，采用 10 次 10 折交叉验证和衡量方案的误差 率，利用 AUC 的 ROC 值比较算法的优越性。 面对众多的分类算法，实验的目的并不是在这么多的方法中寻找一个最好的方法