引入非参数回归.ppt

局部回归 (2)k-近邻核回归 * 焦糕毁诅望搏陕硕俱强兴遁马坛速雍武蔚众栖搽勉翁论亭享固掉粗刮娱喘引入非参数回归引入非参数回归 局部回归 (2)k-近邻核回归 * 搽诀峭虹碟虎炙育京螺楔奔求磁晶位嗣升丛惫韦驶番者斯惦继键围戒爵鲸引入非参数回归引入非参数回归 局部回归 (3)对称化近邻回归(Symmetrized Nearest Neighbor Estimate) Yang(1981)，Stute(1984)研究了这种估计 其中权重 写成线性光滑器 这里的k(h)相当于nh, 可以看出实质上相当于 nh个Yi值加权平均 * 羹截絮屿渤雨犁刺帐双整侄策袱妇芋守巢侠译究同且啤烛西饭蹈豹女损晴引入非参数回归引入非参数回归 局部回归 4. 稳健光滑 (1)局部加权描点光滑(Locally Weighted Scatter plot Smoothing, LOWESS) Step1:在x的邻域内，用一个多项式进行拟合，求出系数{ βj } 其中Wki(x) 为k-NN权 Step2:根据残差 计算尺度估计 ， 定义稳健权重 Step3:用新的权重 重复Step1、Step2，直到第N次结束 * 肌搭索授酋哇桂梢吹擦披似骂垛秀匆妄兄梨渐腐郊男俺隆碧戏咐间攫嘻畜引入非参数回归引入非参数回归 (1)局部加权描点光滑( LOWESS) 局部回归 * 系臃抱绰英蹬膳愈喧轨兽托贤衡课环剿慕砷赌俞氰愁跳亚膘獭腑履略猩啄引入非参数回归引入非参数回归 (1)局部加权描点光滑( LOWESS) 局部回归 * 亡辈又激向札除利慰尹挛睦鼓迅价扑滩辈弦惫楚榜扯餐中舷脾崭库招艇桶引入非参数回归引入非参数回归 局部回归 (2) L- 光滑 条件L函数 其中 为条件分位数函数 特别：a)当 时 b)当 时，为中位数光滑 其中 ={ i : xi是离x最近的k个观测值之一} * 妓货侄陡回铀罗耿济混学俞龟烯怯泞厚戚寨逆揭更滴湘馒访哮挤曝时俩舒引入非参数回归引入非参数回归 局部回归 (2) L- 光滑 对于条件L函数 其中用 来估计F(y|x) 得到L-估计 * 豺焚迟舶言驴仰歧爪赊景估趴擦昧几椅院徊神尧姆漫窟宾纺垄眶绅碴佩氏引入非参数回归引入非参数回归 局部回归 (3) M- 光滑 (局部)最小二乘方法得到的光滑估计 是通过考虑损失函数为二次函数得到的，现在考虑损失函数 c较大时，为普通的二次损失函数，c较小(≈1倍或2倍观测误差的标准差)可以获得更多的稳健性 * 苟旅缀另狸侠升釉涨钾而橡矗伤雕辑荆椎牛淑旅诌袱狠盅熏括骄邻蝴伞酥引入非参数回归引入非参数回归 局部回归 M-样条(Cox, 1983) 核M-光滑(kernel M-smoother)(Hubber,1979;Silverman,1985) * 逻鬃综磅驼奠脂骚牺泌俺毯提绪毋刺伺冈草示涅框找浇撞忿魔坪帚跃药担引入非参数回归引入非参数回归 局部回归 (3)R-光滑 定义得分函数 其中J是定义在(0, 1)上的非减函数，满足J(1-s)=J(s) 用 来估计F(y|x)，则 应该粗略地接近0 对于 ，则 Cheng and Cheng(1986)提出的R-估计： * 吝醋鸳碍桨揣叙奖较罩乃遮样橇土虑新阑黎亏乏悸治芦挎致墩宁托妄眠俐引入非参数回归引入非参数回归 样条回归 设m(x)在[a, b]连续可微，且二阶导数平方可积 考查形式 其中 为粗糙惩罚 1. 光滑样条 * 题核昆巫储克底柿猛筑精焊讶碰扒裂示晒埂死酌巩鼎耶哑谩倘荣立叁灭沏引入非参数回归引入非参数回归 样条回归 定义一组样条基函数： 注意，这里样条基函数可以是其他样条基 如: B样条基(吴喜之译(2008)) 样条 * 求蓄掌次羡褒耀查破糙允蟹衰械库循杏平海杆虎俯儡涂震联消袭舱刁酋畅引入非参数回归引入非参数回归 样条回归 将前面的优化问题写成矩阵形式： 其中 上述问题的最优解 其中 * 象犊砰挠汾紧搞靴枷辉烘今腿光永幽窄家虑习紧员肾月桐譬仍啸啪乾彭蜀引入非参数回归引入非参数回归 样条回归 下面的图利用的是B样条基函数， * 旺蜘澜泅太改驯癸尿蛛坞文脊桩修刃攻吝诊秩妮垦妓嘎崇揉羊躇缸袭忌肠引入非参数回归引入非参数回归 样条回归 下