数理言語-r.dl.itc.u.pptVIP

* * * * GISアルゴリズム Input: training data D={x,y}, feature functions f={fj}, initial parameters λ={λj} Output: optimal parameters λ foreach x,y ∈ D foreach fj ∈ f such that fj(x,y) ≠ 0 μ’j := fj(x,y) C := -∞ loop until λ converges foreach x,y ∈ D R := {}; Z := 0 foreach y’ ∈ Y(x) C := max(∑j fj(x,y’), C); S := exp(∑k λkfk(x,y’)); Z := Z + S R := R ∪ {y’, S} foreach y’, S ∈ R foreach fj ∈ f such that fj(x,y’) ≠ 0 μj := μj + fj(x,y’)?1/Z?S foreach fj∈f Δλj := 1/C?log(μ’j/μj) λj := λj + Δλj * 素性森 (Feature Forest)畳み込み構文森のためのCRF (Packed Parse CRF) 素性関数の期待値の計算: 「ある文xに対する全ての構文木集合Y(x)に対する確率」を計算しないといけない 畳み込まれたデータ構造を展開することなく素性関数の期待値を計算 内側外側アルゴリズム (構文木集合) 前向き後向きアルゴリズム (系列ラベリング) * 素性森 各ブランチのスコアの積＝全体のスコア * ... ... ... ... ... (1,0,1,1,0) (0,0,1,0,0) 構文木全体の素性ベクトル: (1,0,2,1,0) 掛算 素性森 構文木の確率 内側外側アルゴリズムの適用 書換規則の適用回数?素性値(素性の発火回数) 書換規則の確率 θr ?ブランチのスコア　　　 * PCFGの書換規則の確率に対応 EMと最大エントロピー法 POSタガー パーザー データ構造 曖昧性のある畳み込まれた列 曖昧性のある畳み込まれた木構造 EMアルゴリズム 前向き後向きアルゴリズム 内側外側アルゴリズム 最大エントロピー法 MEMM Linear-Chain CRF Feature Forest (Packed-Parse CRF) * その他のパラメータ推定アルゴリズム * パラメータ更新式の導出: Improved Iteretive Scaling (IIS) GISでは としていたが、 とする * ただし、 ジェンセンの不等式 この最後の式をA(λ, λ’)とおこう パラメータ更新式の導出: Improved Iteretive Scaling (IIS) * ここで、Aを最大化 (=極値を求める) ?1変数の方程式になっているので、上の式をニュートン法で解けばよい ?上の式のC(xi,y)が同じ項をまとめるとC(xi,y)が同じデータに対してのみモデル期待値を記憶しておくだけですむ ?C(xi,y)を定数CにしたのがGISで、GISではニュートン法を使わなくても直接解析的に解ける。GISの収束はIISより遅い。 ?C(xi,y)のバリエーションが多いと、メモリが大量に必要。 パラメータ推定:勾配ベースのアルゴリズム 目的関数の勾配から勾配ベースの推定アルゴリズムでパラメータ推定が可能 最急降下法 (steepest decent method) 共役勾配法 (Conjugate Gradient, CG; Fletcher Reeves 1964) BFGS (L-BFGS) (Nocedal 1980) 自然言語処理では、経験的に勾配ベースのアルゴリズムの方がIISより非常に速く収束するため、勾配ベースのアルゴリズムが望ましい (Malouf 2002) * パラメータ推定: 勾配ベースのアルゴリズム 目的関数 勾配 * パラメータ推定: 最急降下法 パラメータ更新式 αは適当な小さな値もしくは一次元最適化(直線探索 ともいう) (one-dimensional line search) で決定 収束が非常に遅い * λ(k) λ‘(k) 候補領域の決定 あるステップ幅をg方向に2乗しながら探索し、L(λ’)L(λ)に