JS第10章 补充.pptVIP

32 朴素贝叶斯定理 3. 由于P(X)对于所有类为常数，只需要P(X|Ci)(Ci)最大即可。如果类的先验概率未知，则通常假定这些类是等概率的；即，P(C1)=P(C2)...P(Cm) 。并据此对P(X|Ci)(Ci)最大化。否则，我们最大化P(X|Ci)(Ci) 。注意，类的先验概率可以用P(Ci)=si/s计算；其中，si是类C中的训练样本数，而s是训练样本总数。 33 朴素贝叶斯定理 4. 根据给定包含多个属性的数据集, 直接计算P(X|Ci)的运算量是非常的。 为实现对P(X|Ci)的有效估算, 基于贝叶斯分类通常都假设各类别是相互独立的, 即各属性的取值是互相独立的。对于特定的类别且各属性相互独立, 就会有: 概率P(x1|Ci), P(x2|Ci), …P(xn|Ci)可以由训练样本估值，其中， P(Xk|Ci)=sik/si ; 这里sik为训练样本中类别Ci且属性Ak取vk值的样本数, si 训练样本中类别为Ci 的样本数。 5.为对未知样本X分类，对每个类Ci ，计算P(X|Ci)(Ci) 。样本X被指派到类Ci ，当且仅当： 换言之，X被指派到其P(X|Ci)(Ci)最大的类Ci 。 34 朴素贝叶斯定理 例6.4使用朴素贝叶斯分类预测类标号. 训练数据在表7.1中。数据样本用属性age,income,student和credit_rating描述。类标号属性buys_computer具有两个不同值（即，{yes,no}）。设C1对应于类buys_computer=“yes”，而C2对应于类buys_computer=“no”。分类的未知样本为： X=(age==30,income=medium,student=yes,credit_rating=fair). 我们需要最大化P(X|Ci)(Ci) ，i=1,2。每个类的先验概率P (Ci)可以根据训练样本计算： P(buys_computer=yes)=9/14=0.643 P(buys_computer=no)=5/14=0.357 35 朴素贝叶斯定理 例6.4使用朴素贝叶斯分类预测类标号. 为计算P(X|Ci)，i=1,2。我们计算下面的条件概率: P(age=“30”|buys_computer=“yes”)=2/9=0.222 P(age=“30”|buys_computer=“no”)=3/5=0.600 P(income=“medium”|buys_computer=“yes”)=4/9=0.444 P(income=“medium”|buys_computer=“no”)=2/5=0.400 P(student=“yes”|buys_computer=“yes”)=6/9=0.667 P(student=“yes”|buys_computer=“no”)=1/5=0.200 P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667 P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.400 使用以上概率，我们得到： P(X|buys_computer=“yes”)=0.222×0.444×0.667×0.667=0.044 P(X|buys_computer=“no”)=0.600×0.400×0.200×0.400=0.019 P(X|buys_computer=“yes”)P(buys_computer=“yes”)=0.044×0.643=0.028 P(X|buys_computer=“no”)P(buys_computer=“no”)=0.019×0.357=0.007 因此,对于样本X，朴素贝叶斯分类预测buys_computer=”yes”。 36 第六章:分类和预测 分类与预测的内涵 有关分类和预测的若干问题 基于决策树的分类 Microsoft 决策树挖掘模型简介 Microsoft 决策树挖掘模型的使用 贝叶斯分类 神经网络 小结 37 神经网络概述 优点 预测的准确率通常很高 强壮性好,当训练样本包含错误时很有效 输出可以是离散的,实数值的或几个离散或实数值属性的向量 学习目标函数的快速评估 缺点 训练时间长 学习函数(权重)很难理解 不容易包含论域知识 38 神经网络概述 神经网络最早是由心理学家和神经学家提出的，旨在 寻求开发和测试神经的计算模拟。 粗略地说，神经网络是一组连接的输入/输