数据挖掘7章-分类和预测2.pptVIP

贝叶斯定理 后验概率(posteriori probabilities):P(H|X)表示条件X下H的概率. 贝叶斯定理: P(H|X)=P(X|H)P(H)/P(X) 朴素贝叶斯分类 假定有m个类C1,…Cm,对于数据样本X,分类法将预测X属于类Ci,当且仅当 P(Ci|X) P(Cj|X),1=j=m,j!=i 根据贝叶斯定理, P(Ci|X)=P(X|Ci)P(Ci)/P(X) 由于P(X)对于所有类都是常数,只需最大化P(X|Ci) P(Ci) 计算P(X|Ci),朴素贝叶斯分类假设类条件独立.即给定样本属性值相互条件独立. P(x1,…,xk|C) = P(x1|C)·…·P(xk|C) 样本 X = rain, hot, high, false P(X|p)·P(p) = P(rain|p)·P(hot|p)·P(high|p)·P(false|p)·P(p) = 3/9·2/9·3/9·6/9·9/14 = 0.010582 P(X|n)·P(n) = P(rain|n)·P(hot|n)·P(high|n)·P(false|n)·P(n) = 2/5·2/5·4/5·2/5·5/14 = 0.018286 样本 X 分配给 类 n (don’t play) 贝叶斯网络 朴素贝叶斯算法假定类条件独立,当假定成立时,该算法是最精确的.然而实践中,变量之间的依赖可能存在. 贝叶斯网络解决了这个问题,它包括两部分,有向无环图和条件概率表(CPT). 一旦FamilyHistory和Smoker确定,LungCancer就确定和其他的无关. P(LungCancer=“yes”| FamilyHistory=“yes” Smoker=“yes”)=0.8 P(LungCancer=“no”| FamilyHistory=“no” Smoker=“no”)=0.9 训练贝叶斯网络 梯度 其中s个训练样本X1,…Xs,Wijk表示具有双亲Ui=uik的变量Yi=yij的CPT项.比如Yi是LungCancer,yij是其值“yes”,Ui列出Yi的双亲(FH,S),uik是其值(“yes”,”yes”) 梯度方向前进, Wijk=Wijk+(l)*梯度 其中l是学习率,l太小学习将进行得很慢,l太大可能出现在不适当的值之间摆动.通常令l=1/t,t是循环的次数 将Wijk归一化. 每次迭代中,修改Wijk,并最终收敛到一个最优解. 神经网络 计算方法 由前一层的输出作为输入i,与对应的权w相乘形成加权和,再加上偏置 对上面结果用一个非线性函数f作用形成本层的输出.将较大的值映射到0-1之间 算法步骤 计算实例 一个训练样本X={1,0,1},输出为1 X1=1,x2=0,x3=1,w14=0.2,w15=-0.3,w24=0.4,w25=0.1,w34=-0.5,w35=0.2,w46=-0.3,w56=-0.2, 偏置值:节点4:-0.4,节点5:0.2,节点6:0.1 学习率设为0.9 节点4: 输入值:w14*x1+w24*x2+w34*x3+节点4的偏置=1*0.2+0.4*0-0.5*1-0.4=-0.7 输出值:用公式 可得0.332 同理:节点5输入值0.1,输出值0.525 节点6: 输入值:w46*o4+w56*o5+节点6的偏置=-0.3*0.332-0.2*0.525+0.1=-0.105 输出值:0.474 误差计算 节点6: 0.474*(1-0.474)*(1-0.474)=0.1311 节点5: 0.525*(1-0.525)*0.1311*(-0.2)= -0.0065 同理节点4误差为:-0.0087 更新权值和偏置值 W46: -0.3+(0.9)(0.1311)(0.332)=-0.261 其他Wij同理 节点6的偏置: 0.1+(0.9)*(0.1311)=0.218 其他偏置同理 终止条件 对所有样本作一次扫描称为一个周期 终止条件:对前一周期所有Wij的修改值都小于某个指定的阈值;或超过预先指定的周期数. 防止训练过度 神经网络的解释 解释过程 对隐藏节点进行聚类,对于所有给定的输入,输出值分成几个类. 导出与输出节点O的一系列规则 导出与输入节点I的一系列规则 得到关于输入和输出的规则 灵敏度分析 用于评估一个给定的变量对网络输出的影响.改变该变量的输入,其他变量固定,监测网络的输出. 得到的规则形如:IF X 减少5%, THEN Y 增加 8%的规则. * * 贝叶斯网络 Family History LungCancer PositiveXRay Smoker Emphysem