机器学习-朴素贝叶斯学习-原理分析与C语言代码实现2383.docVIP

数据挖掘课程大作业 题 目： 机器学习-朴素贝叶斯 班 级： 信管2014-2班 指导教师： 汪传建 日期:2017年11月21日 机器学习-朴素贝叶斯学习 原理分析与 C 语言代码实现 一， 任务介绍 本文介绍朴素贝叶斯学习的基本原理以及其算法实现的 C 语言代码。 朴素贝叶斯学习也叫朴素贝叶斯分类器，它是根据贝叶斯法则进行学习的一种算法。贝 叶斯法则是条件概率相互计算的法则，即在已知 P(A|B)的情况下怎么计算 P(B|A)。P(A|B)是 条件概率，表示在条件 B 成立的条件下条件 A 发生的概率，贝叶斯法则的表达式如下： 即在条件 A 成立的条件下条件 B 发生的概率，等于条件 B 成立的条件下条件 A 发生的概率，乘以条件 B 发生的概率，再除以条件 A 发生的概率。 朴素贝叶斯学习器(分类器)就是需要计算在某个样例条件下，计算每个目标属性项发生的概率,然后选出概率最大的目标属性。举例说明，假设现在我们在已知某一天气候的情况 下(用 weather 表示)，需要确定是否打网球(用 yes 和 no 表示)。朴素贝叶斯分类器就是要计算在已知 weather 的条件下，打网球的概率 P(yes|weather)和 P(no|weather)，如果前者大于后者，就去打网球，否则就不去打网球。 二， 朴素贝叶斯学习器的原理说明 根据前面的介绍，朴素贝叶斯学习器就是需要计算在已知气候的情况下，分别计算出打 网球的概率和不打网球得概率，然后选择概率大者作为最终的学习(分类)结果。在这里，气 候 weather 用四个属性表示，分别是 Outlook(天气)、Temperature(温度)、Humidity(湿度)和 Wind(风强度)。先用贝叶斯公式表示为： 称 vMAP 为在给定实例的属性值(weather 的各属性值)下，得到的最可能的目标值，也就是条件概率最大的值。其中 V={yes,no}，也就是说 vM AP 为目标属性集 V 中各取值(yes 或 no) 的概率最大的。朴素贝叶斯学习器即使根据上面的公式推导而来。现在我们根据贝叶斯法则重写上面的公式： 要作一些相应的假定，即给定目标值时，各属性值之间的相互条件独立。 我们把 weather 用{Outlook, Temperature , Humidity ,Wind}表示，把式３重写为： 根据假定，给定目标值时，某气候下的概率就等于给定该目标值时各属性的概率的乘积： P(Outlook,Temperature,Humidity,Wind|vj) =P(Outlook|vj)*P(Temperature|Vj)*P(Humidity|vj)*P(Wind|vj)……………………………5 把式５带入式４中就得到我们要求的朴素贝叶斯的表达式： 三， 示例 为了能更进一步了解朴素贝叶斯学习的原理，我们用一个示例来加以说明。该示例用表 1 中的数据作为训练样例，然后根据表达式 6 对测试样例进行朴素贝叶斯分类，测试样例如 下： weather={Outlook=sunny,Temperature=cool,Humidity=high,Winds=strong}; Day Outlook Temperature Humidity Wind PlayTennis Dl Sunny Hot High Weak No D2 Sunny Hot High Strong No D3 Overcast Hot High Weak Yes D4 Rain Mild High Weak Yes D5 Rain Cool Normal Weak Yes D6 Rain Cool Normal Strong No D7 Overcast Cool Normal Strong Yes D8 Sunny Mild High Weak No D9 Sunny Cool Normal Weak Yes Dl0 Rain Mild Normal Weak Yes Dl1 Sunny Mild Normal Strong Yes Dl2 Overcast Mild High Strong Yes