基展开与正则化概要.ppt

基展开与正则化 考虑： 真实函数是变量的线性函数的情况非常罕见。 样条插值 一、三次样条 二、B样条 三次样条 三次样条 三次样条 三次样条 三次样条 三次样条 三次样条 三次样条 三次样条 三次样条 三次样条 三次样条 则三弯矩阵为： 三次样条 三次样条 则三弯矩阵为： 三次样条 三次样条 则三弯矩阵为： 三次样条 注： 进一步，分段线性拟合： 附加三个基函数： 进一步，考虑连续性： 在两个扭结上限制为： 连续的 h1(X) = 1, h2(X) = X, h3(X) = (X ? ξ1)+, h4(X) = (X ? ξ2)+, 连续性的要求导致参数的线性约束： f(ξ?1 ) = f(ξ+1 ) 导致 β1 +ξ1β4 = β2 +ξ1β5. 使用结合约束的基函数 * 首页 上页 返回 下页 * 线性模型 线性回归 判别分析 逻辑斯蒂回归 分离超平面 本章的核心思想 用附加的变量（X的变换）替换输入向量X，在新的导出的输入特征空间上使用线性模型 模型优点： 在新变量上是线性的，拟合过程和以前一样。 A B C D Hm基函数的几个简单例子 或 的区间指示子 本节主要讨论的基函数 1、分段多项式 2、样条 S(x) 如何构造合适的S(x),使得其能更好的拟合点 且： 两边同时除以: 得： 既得： 求解Mi 即： 求解Mi 第三类边界条件即周期边界条件下三弯矩阵为： 假定：X是一维的 一个分段多项式f(x)可以用如下方法得到： 1、将X的定义域划分成连续区间 2、在每个区间用一个多项式表示f(x) h1(X) = I(X ξ1) h2(X) = I(ξ1 ≤ X ξ2) h3(X) = I(ξ2 ≤ X). 例：定义三个基函数 如右图所示： 的最小二乘估计为： * 首页 上页 返回 下页 * *