2第二章贝叶斯决策理论.pdfVIP

第二章第二章第二章第二章 贝叶斯决策理论贝叶斯决策理论贝叶斯决策理论贝叶斯决策理论 引引 言言 §2-1 贝叶斯分类器 §2-2 正态分布决策理论 §2-3 关于分类的错误率分析 §2-4 最小风险Bayes分类器 §§2-5 Bayyes分类器算法和例题分类器算法和例题 §2-6 聂曼－皮尔逊判别准则 §§22-77 最大最小判别准则最大最小判别准则 §2-8 序贯分类 1 ?学习指南 ? 这一章的主要内容是说明分类识别中为什么会有错分类? ? 在何种情况下会出现错分类？ ? 错分类的可能性会有多大？ ? 在理论上指明了怎样才能使错分类最少？ ? 另一方面，错分类有不同情况 ，例如误将A错分为B类，或将B类 错分为A类就是两种不同的错误。不同的错分类造成的危害是不同 的，有的错分类种类造成的危害更大，因此控制这种错分类则是 更重要的更重要的。 ? 引入了一种“风险”与“损失”概念，希望做到使风险最小 。 ?? 这这一章的关键是要正确理解章的关键是要正确理解先验概率先验概率 ，类概率密度函数类概率密度函数 ，后验概后验概 率这三种概率，对这三种概率的定义，相互关系要搞得清清楚楚。 Bayes公式正是体现这三者关系的式子，要透彻掌握。 2 ??课后思考课后思考 ? 1、 机器自动识别分类，能不能避免错分类，如汉字识别 能不能做到百分之百正确？怎样才能减少错误？ ?2、 错分类往往难以避免，因此就要考虑减小因错分类造 成的危害损失，譬如对病理切片进行分析，有可能将正确 切片误判为癌症切片，反过来也可能将癌症病人误判为正 常人，这两种错误造成的损失一样吗？看来后一种错误更 可怕，那么有没有可能对后一种错误严格控制？ ?3、 概率论中讲的先验概率，后验概率与概率密度函数等 概念还记得吗？什么是贝叶斯公式？ ?4、 什么叫正态分布？什么叫期望值？什么叫方差？为什 么说正态分布是最重要的分布之一？ 3 本本 章 知知 识 结结 构 框框 图 4 引引 言言 ?? 模式识别的分类问题就是根据识别对象特征的观察值将其分到某个类模式识别的分类问题就是根据识别对象特征的观察值将其分到某个类 别中。 ? 统计决策理论是处理模式分类问题的基本理论之统计决策理论是处理模式分类问题的基本理论之一。。 ? 贝叶斯(Bayes) 决策理论方法是统计模式识别中的一个基本方法。用 此方法进行分类时要求此方法进行分类时要求 ： ? 1）各类别总体的概率分布式是已知的 ； ? 22））要决策分类的类别数是要决策分类的类别数是一定的定的。。 ? 本章所要研究的主要问题就是，在特征空间中观察到的样本，将其分 到哪到哪一类才最合理类才最合理。。 5 ? 待识别物理对象的描述问题。假设一个待识别的物理对象用其 dd个属性观察值描述个属性观察值描述 ，称之为称之为dd个特征个特征 ，这组成这组成一个个dd维的维的特征特征 向量 ，而这d维待征所有可能的取值范围则组成了一个d维的特 征空间征空间 。。 例子：假设苹果的直径尺寸限定在7厘米到15厘米之间， 它们的重量在3两到8两之间变化。如果直径长度x用厘米为单 位，重量y以两为单位。那么，由x值从7到15，y值从3到8包围 的二维空间就是对苹果进行度量的特征空间。 ? 贝叶斯决策理论方法所讨论的问题： ?? 已知总共有知总共有c类物体类物体 ，也就是说待识别物体属也就是说待识别物体属于这这c类中的类中的一个个