山东大学计算机学院机器学习实验一贝叶斯分类.docVIP

山东大学计算机学院实验报告 实验题目：贝叶斯分类 学号： 日期：2016.10.11 班级： 2014级4班 姓名： Email： 实验目的： 熟悉matlab环境及相关函数的熟练使用。 先验概率相等时，求一个，两个，三个特征值时的贝叶斯分类器，经验训练误差，以及不同特征值的比较。 硬件环境：? windows10操作系统 软件环境： matlab环境 实验步骤： 一、背景知识及原理 首先，贝叶斯算法是一种分类算法，即有监督的学习，输入的数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，通过训练集设计出一个分类器，再输入测试集来预测各个数据所属的类别。可以通过误差率来测试分类器的精确程度。 原理：已知要分为先验概率都为1/2的两个类别，即P（w)相等，只需求似然函数，因为数据呈正态分布，则可以求出方差和均值，代入判别函数中。若g1g2，则分为第一类，g1g2，就分到第二类。然后与原来数据比较，求出判断错误的个数以及误差率。 公式： 二、实验步骤 1.因为以前经常使用微软的Azure平台，这次仍然想用这个平台实验一下。分别测试使用一个，两个，三个特征值时用贝叶斯算法求出的准确率和召回率等。 一个特征值时： 两个特征值时： 三个特征值时： 发现结果都不理想，虽然能看出随维数增加准确率变高，但是也不明显，可能是由于样本点太少的原因。 2.开始自己着手写matlab程序，分成了三个.m文件，对应使用不同特征值数目的分类。这三个的总体思路在原理中已经说明，基本上就是套数学式子。但是中间出了个问题，就是我们以为公式里面的行列式是求平均值了，结果闹笑话，得出的判别函数是个矩阵。后来发现了问题所在就改正了。 3.为了清晰明了，我每种情况都画了图，一个特征值时画的是x分布的正态函数图，两个特征值时画了两个图，第一个是正态图，类似于一维的，但是感觉不够清晰就又描了一个散点图，画出所有的点，第一类的数据用红框，第二类的数据用蓝圈，预测为第一类的用红点，预测为第二类的用蓝点，这样清晰的可以看出哪些点是预测对的，哪些是错的。三个特征值的不好画正态图，就直接画了散点图，倒是更清楚了。 三、实验结果 1.一个特征值: 分类错误率为0.3，界定误差0.473999 2.两个特征值： 分类误差率0.45，界定误差为0.460466 3.三个特征值： 分类误差率0.15，界定误差为0.411926 4.讨论：对于一有限的数据集，是否有可能在更高的数据维数下经验误差会增加 ——我觉得如果数据维数高的话，误差是有可能相对于低维数的反而增加的。因为可能会产生比如这次实验的情况，两维数据的时候第二个特征值特别乱，误差很大，结果误差率比一个特征值的时候还要高了。 结论分析与体会： 刚开始感觉这个题无从下手，不知道要做出来的分类器是个什么样子，虽然知道该怎么在纸上计算后验概率，但是拿到matlab上面编写程序就不会了。 后来和同学们一起讨论，加上走的各种各样弯路，到后来明白这个分类器就是用判别函数就可以，再到后来连图像也画出来，误差也求正确，感觉的确是努力会有回报。 回过头看这个题目，发现其实这个是很简单的，只要明白了原理，套上课本的公式，很好求。而且这次学到了很多画图的方法，包括散点图，二维正态图，三维正态图，感觉matlab越来越熟练了。