模式识别 清华版 课后题解.pptVIP

模 式 识 别Pattern Recognition 吴贵芳 easyfancy@126.com 总复习 考试相关事项 1. 严格考试纪律，注意独立思考，不要有任何武弊的念头及行为。 2. 开卷考试，每位同学带足自己的相关资料，考试过程中，只允许查看自己的资料，不允许互相转借。 3. 考试时间充足，120分钟，不用着急。 4. 题型：填空、解答计算题与综合实验题。 知识要点 1. 模式识别的概念理解，包括模式、模式识别及模式识别系统，模式识别系统的三个基本构成单元，基于统计的模式识别系统4个主要构成部分，模式识别系统的设计主要步骤及相应功能等。 知识要点 2. 贝叶斯决策理论的理解，常用准则（4条），损失函数、先验概率、后验概率、类条件概率密度和风险等的理解。 3. 参数估计的概念，如何利用样本集对参数进行估计，能灵活运用最大似然估计和贝叶斯估计。 知识要点 4. 线性判别函数的理解及应用，能用不同的方法处理多类分类问题，重点掌握Fisher线性判别的主要过程及步骤。 5. 特征选择及特征提取的含义、区别与联系，类别可分离性判据满足的要求，K-L降维过程等。 知识要点 6. 无监督学习与聚类的含义，主要包括两类学习方法，理解投影法的过程，重点掌握动态聚类方法中的K-Means算法。 知识要点 7. 理解人工神经网络的含义及历史，人工神经元的模型及数学分析，掌握主要的人工神经网络算法，尤其是感知器与BP算法，能利用人工神经网络设计模式识别系统。 知识要点 8. 理解人工神经网络的含义及历史，人工神经元的模型及数学分析，掌握主要的人工神经网络算法及其拓扑结构，尤其是感知器与BP算法，能利用人工神经网络设计模式识别系统。 知识要点 9. 掌握模糊集的含义，包括台、水平集、独点集、隶属函数、隶属度等，能对模糊集进行简单的运算，比如并集、交集、补集，能判断模糊度的大小，能实现简单的模糊聚类算法。 知识要点 10. 掌握统计模式识别的基本知识，尤其是SVM算法的基本原理，能使用libSVM进行简单的操作。 11. 掌握理论知识基础上，能联系实际，具备解决实际问题的能力，能从理论上分析系统的可行性。 例题讲解 例题讲解 例题讲解 例题讲解 3.1 设总体分布密度为 并设 分别用最大似然估计 和贝叶斯估计计算 已知 的先验分布： 例题讲解 3.1 设总体分布密度为 并设 分别用最大似然估计和贝叶斯估计计算已知 的先验分布： 例题讲解 3.1 设总体分布密度为 并设 分别用最大似然估计和贝叶斯估计计算已知 的先验分布： 课后题 3.1 设总体分布密度为 并设 分别用最大似然估计和贝叶斯估计计算已知 的先验分布： 例题讲解 例题讲解 例题讲解 例题讲解 * 2.4 分别写出在以下两种情况 （2） 下的最小错误率贝叶斯决策规则。 （1） 贝叶斯决策规则： 其中, （1） 例题讲解 （2） 1 最大似然估计 解： 对数似然函数 似然函数 1 最大似然估计 解： 对数似然函数 1 最大似然估计 对数似然函数 对数似然函数求导 求 最大似然估计: =0 解： 2 贝叶斯估计 解： 求解贝叶斯估计量的步骤： (1)确定u的先验分布： (2)由样本集求出样本联合分布： (4) 由定理3.1求贝叶斯估计量 (3)利用贝叶斯公式，求出u的后验分布： 2 贝叶斯估计 解： 求解贝叶斯估计量的步骤： (1)确定u的先验分布： (2)由样本集求出样本联合分布： (4)由定理3.1求贝叶斯估计量 (3)利用贝叶斯公式，求出u的后验分布： 吸收与u无关的因子 解： 2 贝叶斯估计 ——二次函数的指数函数 解： 2 贝叶斯估计 把 写成 ，即： 即为贝叶斯估计 Pattern Recognition Page * TECH*ED ?4