数据挖掘 主题：第五章作业.docx

本科生实验报告实验课程数据挖掘学院名称信息科学与技术学院专业名称计算机科学与技术学生姓名代星学生学号201413030317指导教师实验地点实验成绩二〇一六年11月二〇一六年11月第五章作业题一第1章实验内容在UCI上下载一个用于分类的数据集，使用C4.5算法，设置不同的参数建立两个有指导的学习，记录检验集错误率。使用式（5,9）确定两个模型的检验集错误率是否存在显著差异。第2章实验目的对于一个用于分类的数据集，使用C4.5算法，设置不同的参数建立两个有指导的学习，记录检验集错误率。使用式（5,9）确定两个模型的检验集错误率是否存在显著差异，从而学会评估有指导的学习模型。第3章算法思想选择具有最大增益率的属性作为分支节点来分类实例数据。第4章实验过程4.1数据准备数据集名为IRIS.xls，选择所有150个实例和5个属性，其中4个属性作为输入属性，第5个属性Iris_type作为输出属性，生成.csv文件，加载到Weka。4.2 建立模型使用Weka进行有指导的学习训练，选择C4.5数据挖掘算法，在Weka中名为J48，将test options 设置为 Percentage split ，使用百分比72%，选择Iris_type作为输出属性。单击Moreoptions按钮，打开Classifier evaluation options 对话框，在Output predictions点击choose选中PlainText。表示将在输入结果中显示作为检验集实力的计算输出。单击Start按钮，执行程序。查看混淆矩阵，计算错误率为9.5%。通过分析混淆矩阵，重新设置参数使用百分比66%，重复上述步骤，执行程序，计算错误率为3.9%，较之前有了些许提升。接下来通过假设检验来比较两个用同样训练集创建的有指导的学习模型。公式如上图所示。其中E1为模型M1的检验集分类错误率；E2为模型M2的检验集分类错误率；q为两个模型分类错误率的平均值，即q=（E1+E2）/2；n1和n2分别是检验集A和B的实例个数；q（1-q）是用E1和E2计算出来的方差值。代入数据可得最后的Z=0.057，如果Z值大于等于1.96，就有95%的把握认为M1和M2的检验集性能差别是显著的。此时算出来的是0.057，就说明两个聚类算法的性能差别不是显著的。第5章实验结果1、修改参数前：C4.5数据挖掘算法：2、修改参数后：C4.5数据挖掘算法：第6章结果分析通过观察混淆矩阵，并记录检验集错误率，从而修改参数使错误率减小，虽然通过计算结果改进的不明显，但是通过实验掌握了学习方法。第7章心得体会通过这次试验，在以前的基础上更加深入的了解了C4.5决策树算法以及Weka软件的使用。第五章作业题二第1章实验内容使用心脏病人数据集（CardiologyNumerical）的前150个实例作为训练集实例，剩下的153个实例作为检验集实例，选择两种或多种数据挖掘技术建立有指导的学习模型，利用混淆矩阵和检验集错误率评估所建模型，并使用假设检验确定这些模型之间是否存在显著性差异。第2章实验目的选择两种或多种数据挖掘技术建立有指导的学习模型，利用混淆矩阵和检验集错误率评估所建模型，并使用假设检验确定这些模型之间是否存在显著性差异，从而学会评估有指导的学习模型。第3章算法思想一、k-means 算法:随机选择一个K值，用以确定簇的总数。在数据集中任意选择K个实例，将它们作为初始的簇中心。计算K个簇中心与其他剩余实例简单欧氏距离，用这个距离作为实例之间相似性的度量，将与某个簇相似度高的实例划分到该簇中，成为其成员之一。使用每个簇中的实例来计算该簇新的簇中心。如果计算得到新的簇中心等于上次迭代的簇中心，终止算法过程。否则用新的簇中心作为簇中心并重复步骤（3）~（5）。二、最大期望（EM）算法：是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算：第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。第4章实验过程4.1数据准备心脏病人数据集（CardiologyNumerical）的前150个实例作为训练集实例，剩下的153个实例作为检验集实例，生成.csv文件，加载到Weka。4.2 建立模型加载数据集,选择Instance列，单击Remove按钮，使该属性不参加训练。切换到Cluster选项卡，单击Ch