3模式识别与机学习期末考查.docVIP

模式识别与机器学习期末考查 试 卷 研究生姓名：王晓薇 学号 入学年份：2011 导师姓名：吴庆祥 试题1（15%）：列出你所知道的模式识别与机器学习中的常用算法, 并给出其优缺点。 答：1. k-近邻法 近邻法是一种最简单的非参数模式识别方法中的模式匹配法,它主要依据样本间的多维空间距离来实现分类.其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki, i＝1，…，c。定义判别函数为： gi(x)=ki, i=1, 2,…,c。 决策规则为： 优点：算法简单，易于理解和分析，分类效果好, 在训练样本趋于无穷大时接近最优。 缺点：可以明显看出它需要的计算量大，存储容量大；没有考虑到决策的风险；对于近邻法错误率的分析都是建立在样本数趋向于无穷大的假定上的，而这在实际应用时是很难实现的。而对有限样本集的情况，又缺乏理论上的分析。 2. 贝叶斯决策理论 贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分，是基于概率统计的基本的判别函数分类理论。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是： 已知类条件概率