实验八关联和决策树..docx

云南大学软件学院实验 报 告课程：大数据分析及应用任课教师：蔡莉实验指导教师（签名）：学号：20131120233 姓名：王依 专业：软件工程 日期：2015.12.10 成绩：实验八关联和决策树一、 实验目的1．理解关联分析和决策树的相关知识；2．掌握使用Modeler进行关联分析的基本过程；3．掌握利用关联分析的数据建立一个决策树的过程。二、 实验内容及步骤（一）使用 Modeler 进行关联分析实验内容：对实验文件BASKETS1进行分析，掌握购买数据之间的关联情况。实验步骤：打开并查看数据文件。利用“可变文件”节点将“BASKETS1n”添加节点中。然后使用“输出”选项卡下的“表”查看数据，如图1所示。这里的数据是某商场中的购买记录，共18个字段，1000条记录，在后面的列中，值“T”表示已购买该商品，值“F”表示没有购买该商品。图1确定关联分析字段。在这里中，需要对购买商品之间进行关联分析，即确定客户购买商品之间是否存在关联性，也就是说客户在购买一种商品时，购买另一种商品的概率是多少。所以，在这里，将选择记录中能够体现是否购买某商品的字段进行关联分析，其中有fruitveg，freshmeat，dairy，cannedveg，cannedmeat，frozenmeal，beer，wine，softdrink，fish，confectionery，共11个字段。读入分析字段的类型。在工作区生成“类型”节点，并双击编辑，将上一步骤选出的11个字段的角色设定为“两者”，如图2。图2添加模型节点。分别在“类型”之后添加“Apriori”模型节点和“Crama”模型节点，如图3所示。其中，“Apriori”模型是基于“最低支持度”和“最小置信度”进行关联性分析。图3运行并查看“Apriori”关联模型结果。运行“Apriori”模型的数据流，在右上侧生成数据模型，右键查看，如图4所示。表中可以看出，客户同时购买frozenmeal、beer、cannedveg的概率很高。因此，商家可以将这三种商品放在相邻的位置，以促进销量。图4运行并查看“Carma”关联模型结果。运行“Carma”模型的数据流，在右上侧生成数据模型，右键查看，如图5所示。同样可以看出，客户同时购买frozenmeal、beer、cannedveg的概率很高。图5利用“网络”图进行定性关联分析。选定“类型”节点，双击“图形”选项卡下的“网络”，既可添加“网络节点”。然后，需双击编辑“网络”节点，将步骤（5）中选择的11个字段选定为分析字段。运行该“网络”节点，则右上区域生成关联模型，查看该关联模型，如图6。从图中表明，两点之间的线越粗，表示两者间相关性越强。同时可以通过调节下面的滑动点，查看相关性。图6（二）建立决策树实验内容：在上一步数据关联的基础上，分析哪些顾客是“健康食品购买者”，即同时购买fruitveg和fish。实验步骤：如何标志健康食品购买者。点击“字段选项”选项卡下的“导出”增加一个属性（Healthy）来标识健康食品购买者。编辑“导出”节点，将字段类型设为“标志”，并编辑“fruitveg = T and fish=T”，该公式表示消费者同时购买fruitveg和fish这两种商品，如图7。图7查看增加“Healthy”之后的数据表。利用“表”来查看数据表，如图8，可以看到表中增加了一个“Healthy”字段，描述是否为健康食品购买者。图8接入一个“类型”节点。在这里，需要重新编辑字段的角色，如图9所示。其中与用户相关的信息字段（除cardid外）角色都设定为“输入”，而“Healthy”变为“输出”，其他的选择“无”。图9接入C5.0决策树模型。双击“建模”选项卡下的“C5.0”模型，既可以完成添加。如图10。图10运行决策树模型。分别运行“决策树”和“规则集”两种形式，查看两者得到的结果分别如图11和图12所示。两者都分别有不同的表示方式。图中显示哪些类型的顾客是健康食品购买者。图11图12其他属性的功能，如图13。“组符号”是指当有多个字段在同一个分支时，将这几个字段放在一组；“使用boosting”是指使用部分数据作为再次生成决策树，最后综合这些决策树来提高决策树的精度；“交互验证”是指一部分数据用来生成决策树，一部分作为测试；“简单”是指生成决策树的准确度，但是精确度高的决策树的移植性不高；“专家”下的“修剪严重性”是指修剪的程度。图13将决策树模型加入数据流。首先选择“字段选项”下的“类型”节点，然后分别双击右上侧的“tree”和“no-cut”（已重命名），在这之后，分别添加“分析”节点作为输出，得到如图14的数据流。图14分析“修剪严重性”为75%的正确性。运行“tree”下“分析”节点，在图15中可以看出，决策树分支