机器学习实验报告.docVIP

研究生 机器学习与数据挖掘 第一部分：实验综述 实验目的： 1.发掘数据集大小和C4.5的关系 2.属性个数对该关系的影响 实验思路： 要求比较数据集大小和C4.5精度的关系，以及属性个数对此关系的影响。本实验中采用了两种思路， 思路一是：使用同类实例的训练集和测试集，当分析训练集大小与C4.5精度的关系时，对训练集进行多次随机采样，并建立基于采样得到的新的训练集的模型，采用固定的测试集测试模型精度。记录并比较得出结论；分析测试集与C4.5精度的关系时；基于相同的训练集，对测试集多次采样，以不同大小的测试集测试模型精度，记录比较得出结论。 思路二是：使用一个数据集，采用带筛选器的分类器，对处理后的数据进行10重交叉验证，记录所得精度，修改筛选器的抽样比率，得到不同的数据集，重复实验，比较得最后的结论。 采用多组数据集进行重复实验，归纳得出概括性结论。 本实验中第一二实验采用思路一，第三个实验采用思路二（重复实践了实验一）。 使用数据记录如下： hayes-roth_train.arff hayes-roth_test.arff kdd_JapaneseVowels_train.arff kdd_JapaneseVowels_test.arff segment-challenge.arff segment-test.arff monks-problems-3_test.arff monks-problems-3 spectf_test.arff spectf_train.arff dermatology.arff splice.arff spectrometer.arff arrhythmia.arff hypothyroid.arff 使用分类器： 实验一二使用：weka.classifiers.trees.J48 -C 0.25 -M 2 实验三使用：weka.classifiers.meta.FilteredClassifier -F weka.filters.unsupervised.attribute.RandomSubset -N * -S 1 -W weka.classifiers.trees.J48 -- -C 0.25 -M 2 注：*为可修改值 5.实验参考原理： 模型精度的影响因素 模型的表现出了与学习算法有关，还与类的分布，误分类代价以及训练集和测试集的大小有关。为了比较某一因素对模型精度的影响，固定其他影响因素，来得出较为准确的结论。 关于模型精度的测试： 举例 选用数据集hayes-roth_train.arff，包含132个实例，5个属性，分别为： 属性名 Hobby Age educational_level marital_status class 类型 数值型 数值型 数值型 数值型 名词性 取值数 3 4 4 4 3 有无缺值 无 无 无 无 无 若测试集选用hayes-roth_test.arff，包含28个实例，使用训练集建立模型。决策树如下： 使用测试集对该模型评估，统计数据如图所示： 结论：该模型的精度为89.2857%。或直接对数据集进行交叉验证，也可得精度。 第二部分：实验过程 （以一组数据为例，给出具体的操作处理过程，其余各组数据的实验只给出数据记录。） （一）训练数据集大小与模型精度的关系 1.选用训练集为kdd_JapaneseVowels_train.arff，包含4274个实例，15个属性，无缺值情况。 2.选用筛选器对原训练集进行处理，对原训练数据集进行无监督的随机抽样，抽取50个数据作为新的训练数据集，如图所示，即，此刻训练数据集的实例数为50： 进入分类界面，该实验选用的测试方法为： 4.选用分类器： C为置信系数，置信系数用于修剪(值越小修剪越多)。 M为每个叶节点的最小实例数。 5.设置测试数据集为：kdd_JapaneseVowels_test.arff。该测试数据集有5687个实例。在本类