数据挖掘第二次作业重点.docx

数据挖掘第二次作业 第一题： 1. a) Compute the Information Gain for Gender, Car Type and Shirt Size. b) Construct a decision tree with Information Gain. 答案： a) 因为class分为两类：C0和C1，其中C0的频数为10个，C1的频数为10，所以class元组的信息增益为Info(D)=-1020*log21020-1020*log2(10/20)=1 1.按照Gender进行分类： Infogender(D)=1020*-410*log2410-610*log2610+1020*(-410*log2410-610*log2610)=0.971 Gain(Gender)=1-0.971=0.029 2.按照Car Type进行分类 InfocarType(D)=420*-14*log214-34*log234+820*-78*log278-18*log218+820* -88*log288-08*log208=0.314 Gain(Car Type)=1-0.314=0.686 3.按照Shirt Size进行分类： InfoshirtSize(D)= 520*-35*log235-25*log225+720*-47*log247-37*log237+420* -24*log224-24*log224+420*-24*log224-24*log224=0.988 Gain(Shirt Size)=1-0.988=0.012 b) 由a中的信息增益结果可以看出采用Car Type进行分类得到的信息增益最大，所以决策树为： 第二题： 2. (a) Design a multilayer feed-forward neural network (one hidden layer) for the data set in Q1. Label the nodes in the input and output layers. (b) Using the neural network obtained above, show the weight values after one iteration of the back propagation algorithm, given the training instance “(M, Family, Small). Indicate your initial weight values and biases and the learning rate used. a) b) 由a可以设每个输入单元代表的属性和初始赋值 X11 X12 X21 X22 X23 X31 X32 X33 X34 F M Family Sports Luxury Small Medium Large Extra Large 0 1 1 0 0 1 0 0 0 由于初始的权重和偏倚值是随机生成的所以在此定义初始值为： W1,10 W1,11 W2,10 W2,11 W3,10 W3,11 W4,10 W4,11 W5,10 W5,11 0.2 0.2 -0.2 -0.1 0.4 0.3 -0.2 -0.1 0.1 -0.1 W6,10 W6,11 W7,10 W7,11 W8,10 W8,11 W9,10 W9,11 W10,12 W11,12 0.1 -0.2 -0.4 0.2 0.2 0.2 -0.1 0.3 -0.3 -0.1 θ10 θ11 θ12 -0.2 0.2 0.3 净输入和输出： 单元 j 净输入 Ij 输出Oj 10 0.1 0.52 11 0.2 0.55 12 0.089 0.48 每个节点的误差表： 单元j Errj 10 0.0089 11 0.0030 12 -0.12 权重和偏倚的更新： W1,10 W1,11 W2,10 W2,11 W3,10 W3,11 W4,10 W4,11 W5,10 W5,11 0.201 0.198 -0.211 -0.099 0.4 0.308 -0.202 -0.098 0.101 -0.100 W6,10 W6,11 W7,10 W7,11 W8,10 W8,11 W9,10 W9,11 W10,12 W11,12 0.092 -0.211 -0.400 0.198 0.201 0.190 -0.110 0.300 -0.304 -0.099 θ10 θ11 θ12 -0.287 0.179 0.344 第三题： 3. a) Suppos