等价核或平滑矩阵.ppt

面向回归的线性模型 PRML第三章 线性基函数模型 例子： 线性基函数模型 一般形式： 这里 是基函数，且经常有 ； 如果 ，则对应于最简单的线性回归 多项式基函数 一般形式： 高斯基函数 一般形式 问题：高斯核与多项式核的主要区别是什么？参数s对于模型有何影响？ Sigmoidal核 定义： 这里 问题：你能否建议几种其他可能的基函数？ 最大似然估计和最小平方误差 假设数据生成模型如下： 等价于 由此，基于给定数据X和t的似然函数如下： 最大似然估计和最小平方误差 取log，获得 这里 最大似然估计和最小平方误差 令梯度为0，有 解得 这里 最大似然估计和最小平方误差 问题：矩阵的行数、列数、行秩和列秩有何关系？ 问题： 必然可逆吗？为什么？ 最小平方的几何结构 考虑： S由 张成 wML寻找t在S上的 投影，以最小化y 与t之间的距离 顺序学习 最小均方（LMS）算法：每次考虑一个样本点 问题：如何选择η？ 收敛性问题 最小平方规则化 定义误差函数： 应用sum-of-square误差和二次规则化，得到 对应的解为 更一