山东大学机器学习课程实验报告 - Mengyuan LIU.PDF

山东大学机器学习课程 实验报告 ——实验二 ：贝叶斯分类器的设计与实现 姓名：刘梦源 学院：计算机科学与技术学院 班级：计算机14.4 学号：201400301007 一、实验目的： （1）设计贝叶斯分类器 （2）体会监督学习的思想，理解训练与训练误差等概念 （3）根据已给数据集，用贝叶斯分类器实现分类，并绘制图像，找出误分点， 讨论训练误差的影响因素。 二、实验环境： （1）硬件环境： 英特尔® 酷睿™ i7-7500U 处理器 512 GB PCIe® NVMe™ M.2 SSD 8 GB LPDDR3-1866 SDRAM （2）软件环境： Windows10 家庭版 64 位操作系统 Matlab R2016a 三、实验内容 （1）贝叶斯分类器 贝叶斯是一种基于概率的学习算法，能够用来计算显式的假设概率，它基 于假设的先验概率，给定假设下观察到不同数据的概率以及观察到的数据本 身。 我们用 P(h)表示没有训练样本数据前假设 h 拥有的初始概率，也就称为 h 的先验概率，它反映了我们所拥有的关于h 是一个正确假设的机会的背景知 识。当然如果没有这个先验知识的话，在实际处理中，我们可以简单地将每一 种假设都赋给一个相同的概率。类似，P(D)代表将要观察的训练样本数据 D 的 先验概率（也就是说，在没有确定某一个假设成立时 D 的概率）。然后是 P(D/h)，它表示假设h 成立时观察到数据 D 的概率。在机器学习中，我们感兴 趣的是 P(h/D),也就是给定了一个训练样本数据 D,判断假设 h 成立的概率，这 也称之为后验概率，它反映了在看到训练样本数据 D 后假设 h 成立的置信度。 （注：后验概率p(h/D)反映了训练数据 D 的影响，而先验概率p (h)是独立于 D 的）。 P (x | w )P （w ） P (wj | x ) j j （1） P (x ) 特别的，正态分布的判别函数可以化为： 1 1 d 1 g (x )  (x  )t  (x  )  ln 2  ln | |ln P(w ) （2） i 2 i i i 2 2 i i 在连续性分布的问题中，我们可以对（2）进行改进，变成了 g (x ) (x )P(w ) （3） i w i i 其中，(xw ) 为x 在第i 类下的概率密度。 i （2）一类特征值下的两类分类问题 用 为特征值对 和 进行分类做出图像如图1 所示 x w w 1 1 2 图1 一类特征值时的判别图 由图像可知，当x4.33 或者当x -5.07 时，应该判给第二类，当-5.07x4.33 时，应 该判给低一类。按照表格查找数据，可发现20 个点中有6 个判错了，分别是：第一类中 的-5.43，4.94 ，-2.55 ；第二类中的-0