模式识别贝叶斯方法的报告.docVIP

模式识别贝叶斯方法实验报告 姓名与学号： 教师：唐柯 目录 模式识别贝叶斯方法实验报告 1 目录 2 1 原理 3 1.1 基本思想 3 1.2 工作过程 3 2 实验记录 4 2.1 matlab 程序 4 2.2 特殊情况 4 2.3 实验结果 4 2.4 实验人员任务分配 4 附录 5 原理 1.1 基本思想 ①已知类条件概率密度参数表达式（如符合正态分布）和先验概率（有监督，可统计得到） ②利用贝叶斯公式转换成后验概率 ③根据后验概率大小进行决策分类 1.2 工作过程 1. 每个数据样本用一个 n 维特征向量 X = {x 1 , x 2 ,..., xn} 表示，对应属性 A 1, A 2, ..., A n。 2. m 个类别 C1 ,C2 ,...,Cm（在本实验中只有两类）。给定一个未知类别的数据样本 X ，分 类器将预测 X 属于具有最高后验概率（条件 X 下）的类。 即将未知的样本分配给类 Ci ，当且仅当： P(Ci | X) P(C j | X) 1 ≤ j ≤ m 且 j ≠ i. 求令 P(Ci | X) 最大的类 Ci 称为最大后验假设。 根据贝叶斯定理 P(C i | X) = P(X | C i )*P(C i )/P(X) 由于 P(X) 对于所有类别为常数，只需要 P(X |Ci)*P(C i)最大。类别的先验概率可以统计得 到（有监督），所以最大化 P(X | C i )P(Ci )。 类别的先验概率 P(C i ) = 类别 C i 的训练样本数 /训练样本总数 假定各类别样本之间的属性值相互独立，则 P(X|C i) = Π P(xk|Ci) k=1...n 而概率 P(xk|Ci )可由训练样本估值，按属性离散与否分为 ①离散属性，则 P(x k|Ci ) = Sik/Si Sik 为在属性 A k 上具有值 xk 的类别 Ci 的训练样本数， Si 是类别 Ci 的样本数。 ②连续属性，则通常假定该属性服从高斯正态分布，因此 P(x k|Ci) = 1 1 Xk ( Ci ) ) 2 ( e 2 (Ci ) 2 (Ci ) 其中， (Ci ), (Ci )分别为类别 Ci 的均值和标准差。 4. 对未知样本 X 分类，对每个类 Ci，计算 P(X | C i)*P(C i)。样本 X 被指派到类 Ci，当且仅 当： P(X | C i)*P(C i) P(X|C j)*P(C j) 1≤ j≤ mj ≠ i 即 X 被分类到 P(X|C i)*P(C i)最大的类别 Ci 。 实验记录 2.1 matlab 程序 见附录 2.2 特殊情况 在处理样本的第 6 维特征时，其方差实际得到为 0（因为所有样本的第这样在计算后验概率时，会得到除 0 警告，因此将方差改为一个很小的值  6 维特征全为 0.0001。  -1）。 2.3 实验结果 运行时间： ≤10 秒 训练样本数： 8285 个 正样本的先验概率： 5.62% 负样本的先验概率： 94.38% 测试样本数： 2072 个 正确识别的样本数： 2030 个 识别率： 97.97% 两类样本的均值和方差如表 1 维数 1 2 3 4 5 6 7 8 9 10 正 样 本 -0.0804 -0.0361 -0.9957 -0.9919 -0.9829 -1.0000 -0.9961 -0.9995 -0.9955 -0.9987 均值 负 样 本 -0.3451 -0.3252 -0.9947 -0.9968 -0.9954 -1.0000 -0.9984 -0.9991 -0.9978 -0.9983 均值 正 样 本 0.3230 0.3804 0.0237 0.0963 0.1868 0.0001 0.0323 0.0068 0.0296 0.0185 方差 负 样 本 0.2735 0.3469 0.0466 0.0403 0.0443 0.0012 0.0173 0.0216 0.0162 0.0359 方差 表 1 两类样本的均值和方差表（红色部分是人为调整的值） 2.4 实验人员任务分配 本组两人任务分配如下： 附录 %模式识别实验贝叶斯分类器 %input ：训练集 train.data，测试集： test.data，每行一个样本，每行的最后一个元素为样本类别 号 label %output ：输出预测的类别集和识别率 recogRate %recogRate：正确率 %读入两个矩阵 test 和 train load test.data load train.data testData = test(:,1:(end-1)); trai