模式识别导论L11_SVM.pdfVIP

模式识别导论 学年第学期 东南大学 自动化学院 年月 日 回顾 多层前馈神经网络 任何判别函数都能由一个三层神经网络实现 反向 播 （）算法 隐含层到输 出层的权值更新 输入层到隐含层的权值更新 训练协议：在线训练、随机训练、成批训练 神经网络设计中的实用技术：激活函数、输入信号的尺度变 换、人 数据、隐单元数、权值初始化、学习率、冲量、权 值衰减、训练协议 神经网络用于模式识别 东南大学 自动化学院 模式识别导论 支持向量机 （ ， ） 东南大学 自动化学院 模式识别导论 的理论基础 统的统计模式识别方法只有在样本趋 向无穷大时，其性能 才有理论的保证。统计学习理论研究有限样本情况下的机器 学习问题。 的理论基础就是统计学习理论。 统的统计模式识别方法在进行机器学习时，强调经验风险 最小化。而单纯的经验风险最小化会产生 “过学习问题 ”， 其推广能力较差。 支持向量机 （ ），是统计学习理论 中最年轻的内容，也 是最实用的部分。其核心内容是在年左右， 由和提出的， 目前仍处在不断发展阶段。 东南大学 自动化学院 模式识别导论 的理论基础 由于的求解最后转化成二次规划问题的求解，因 此的解是全局唯一的最优解。 在解决小样本、非线性及高维模式识别问题 中表现出 许多特有的优势。 东南大学 自动化学院 模式识别导论 原理之一：线性可分 设线性可分样本集为 ， ， 是维训练 样本， 是类别标号 维空间中线性判别函数表示为 判决面方程为 东南大学 自动化学院 模式识别导论 原理之一：线性可分 哪个线性决策面最好？ 最优决策面 （最优判决面、最优分类面） x x