最小自乘法.PPT

最小自乗法 回帰分析 説明変数と目的変数の関係のモデルを推定する統計的手法 ある変量(説明変数)とその変量に対する望みの結果(目的変数)の値がいくつか与えられる 説明変数が2つ以上ある場合には，重回帰分析と言う 回帰分析 説明変数( x )と目的変数( y )の関係の実測値がいくつか与えられたとする（下図） x に対する y の予測値 y は，y = ax + b で与えられる この直線の最適な係数 a, b を求めることによって，変数 x と y の関係が予測する 係数 a, b を回帰係数と呼ぶ 最小自乗法 回帰係数を求める手法 実測値 yi と予測値 yi (=axi+b) の差(残差)の自乗和を最小にするような回帰係数 a,b を求める 実測値のデータの個数：N xi： i 番目の x の実測値 (i = 1???N) yi： xi に対する y の実測値とする (i = 1???N) a： 直線の傾き b： 切片 最小自乗法 最小自乗法 最小自乗法 残差の自乗和: Q Q = Σ(yi - yi)2 = Σ(yi - (axi+b))2 (0) 最小自乗法 Qを最小とする a, b は， = 0 かつ = 0 を満たす = -2Σxi(yi - (axi+b)) = 0 - (1) = -2Σ(yi - (axi+b)) = 0 - (2) 　(1)式を整理すると Σxi(yi - (axi + b)) = 0 Σxiyi - Σ(axixi + bxi)) = 0 Σxiyi - aΣxixi = bΣxi - (3) 最小自乗法 前ページ(2)式を整理すると Σyi –Σaxi –Σb = 0 Σyi – aΣxi – Nb = 0 Σyi – aΣxi = Nb b = 1/N (Σyi – aΣxi) - (4) * x y 実測値 y=ax+b ^ ＾ 1月 2月 3月 4月 5月 110 150 120 130 　？ 5月の売上は？ 月 売上 実測値 月X 売上Y Y＝3X＋120 X Y y=a+bx+誤差 誤差の自乗和（図の正方形の和）を最小にするようにして未知係数aとbを求めるので最小自乗法と呼ぶ i=1 N i=1 N ＾ ρQ ρa ρQ ρb i=1 N ρQ ρa ρQ ρb i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N i=1 N *