用朴素贝叶斯分类器解决佩戴隐形眼镜问题1问题描述.docx

用朴素贝叶斯分类器解决佩戴隐形眼镜问题 问题描述 该实验采用机器学习方法中的朴素贝叶斯算法用于信息分类，问题的背景是根据一个人的年龄，视力缺陷，散光和泪腺分泌情况决定其是否可佩戴隐形眼镜。 待解决问题的解释 对于是否可配戴隐形眼镜，可把人们分为3 类： 类 1：适于配戴硬性隐形眼镜； 类 2：适于配戴软性隐形眼镜； 类 3：不适于配戴隐形眼镜 为了判断一个人是否适合配戴隐形眼镜，需要检查以下4 种属性： 属性a：配戴者年龄，取值a=年青、早期老视、老视 属性b：配戴者的视力缺陷，取值b=近视、远视 属性c：配戴者是否有散光，取值c=是、否 属性d：配戴者泪腺分泌情况，取值d=少、正常 上述属性和人群分类一律按顺序用数字1, 2…表示，可以假设根据属性a、b、c、d 有如下表的分类(纯属虚拟) 问题的形式化描述（可选） 初始状态：某个测试例子集包括如下属性 配戴者年龄、配戴者的视力缺陷、配戴者是否有散光、配戴者泪腺分泌情况 后继函数：根据先验概率计算后继概率 目标测试：输出适于配戴硬性隐形眼镜，适于配戴软性隐形眼镜，不适于配戴隐形眼镜 路径耗散：可以转化为计算该方法的分类正确率 朴素贝叶斯介绍（原理） 机器学习有三种类型： 有监督(有指导)学习—从其输入/输出的实例中学习一个函数 无监督(无指导)学习—在未提供明确的输出值情况下，学习输入的模式，要在概率推理系统的上下文中研究无监督学习 强化学习—从强化物中学习，而不是根据指导进行学习学习结果的知识表示有三种形式： 逻辑公式(学到的规则) 贝叶斯网络(学到的概率描述) 线性加权函数(作为学习得到的启发函数) 在本次实验中，采用了贝叶斯学习，这是一种有指导的学习方法。贝叶斯学习根据给定 数据计算各种假设的可能性，即根据概率为每个假设赋予相应的权值，然后在此基础上进行预测。 贝叶斯学习的特性： 观察到的每个训练样例可以增量地降低或升高某假设的估计概率。 先验知识可以与观察数据一起决定假设的最终概率。 贝叶斯方法可以运行假设做出不确定性的预测。 新的实例分类可由多个假设一起做出预测，用它们的概率来加权。 即使在贝叶斯方法计算复杂度较高时，其仍可以作为一个最优的决策标准衡量其它方法。 在实践中，贝叶斯方法的难度在于，它们需要概率的初始知识。另一个实际困难在于， 一般情况下确定贝叶斯最优假设的计算代价很大（可以采用朴素贝叶斯方法作为替代）。 算法介绍 朴素贝叶斯算法的一般介绍 Na?ve Bayes Classifier 是一种实用性很高的贝叶斯学习器 / 某些应用中性能与神经网络和决策树相当(Mitchell)在其学习任务中，实例 x 由属性值的合取表示，目标函数(分类)f(x)属于 V(有限集合)输入为关于目标函数的训练样例和新实例的属性值z=a1,a2,…an，输出=z 的分类按照极大后验概率取值的原则，其输出目标值应满足最大后验概率公式 朴素贝叶斯分类器基于一个简单的假设—在给定目标值时属性值之间相互条件独立，即 P(a1,a2,…an|vj)=∏i P(ai|vj)代入到前式当中得贝叶斯分类器输出函数vNB=arg maxvj V P(vj) ∏i P(ai|vj)估计每个 P(ai|vj)所需数据量比估计 P(a1,a2,…an|vj)要少得多基于训练数据的频率，可得 P(vj)和 P(ai|vj) 在分类（classification）问题中，常常需要把一个事物分到某个类别。一个事物具有很多属性，把它的众多属性看做一个向量，即x=(x1,x2,x3,…,xn)，用 x 这个向量来代表这个事物。类别也是有很多种，用集合 Y={y1,y2,…ym}表示。如果 x 属于 y1 类别，就可以给 x 打上 y1 标签，意思是说 x 属于 y1 类别。这就是所谓的分类(Classification)。 x 的集合记为 X，称为属性集。一般 X 和 Y 的关系是不确定的，你只能在某种程度上说 x 有多大可能性属于类 y1，比如说 x 有 80%的可能性属于类 y1，这时可以把 X 和 Y 看做是随机变量，P(Y|X)称为 Y 的后验概率（posterior probability），与之相对的，P(Y)称为 Y 的先验概率 找出所有的 P(Y|x)， 其中最大的那个 y，即为 x 所属分类。根据贝叶斯公式，后验概率为（prior probability）[2]。在训练阶段，我们要根据从训练数据中收集的信息，对X 和 Y 的每 找出所有的 P(Y|x)， 其中最大的那个 y，即为 x 所属分类。根据贝叶斯公式，后验概率为 在比较不同 Y 值的后验概率时，分母P(X)总是常数，因此可以忽略。先验概率P(Y)可以通过计算训练集中属于每一个类的训练样本所占的比例容易地估计。 算法的伪代码 Nati