机械学习自然言语処理ー.pptx

機械学習による自然言語処理チュートリアル

～PerceptronからCRFまで～;目次;自然言語処理(1/2);自然言語処理(2/2);自然言語処理で

機械学習を使う;自然言語処理

ルールベース編;自然言語処理

ルールベース編;自然言語処理

機械学習編;機械学習の前に

ルールベースvs機械学習;ベクトル表現;線形識別器;重みベクトルwを求める;オンライン学習?バッチ学習;オンライン学習

パーセプトロン[Rosenblatt57];なぜ学習できるのか;Perceptronの収束定理

[Block62][Novikoff62];Perceptronの収束定理の証明;Perceptron補足;頭が疲れてきたかもなので

ちょっと休憩;OLLを使って

実際に分類をしてみよう;訓練?テストデータの

フォーマット;文書分類を作ってみよう（C++ですいません）;intdoc2fv(conststringdoc,constinty,

ofstreamoutf){

istringstreamis(doc);//docの単語はスペースで区切られている。きられて無い場合はmecabやら辞書の最長一致をしてください

stringchunk;

vectorintIDs;

while(ischunk){

IDs.push_back(getID(chunk));

}

sort(IDs.begin(),IDs.end());

IDs.erase(unique(IDs.begin(),IDs.end()),

IDs.end());//重複を除く

outfy““;//ラベル

for(size_ti=0;iIDs.size();i++){

outfIDs[i]“:1“;

}

outfendl;

};学習

バッチ編;バッチ学習編;重みベクトルwを求める(続)

バッチ学習編;様々な損失関数によるf0/1の近似;線形識別器まとめ;過学習/正則化;過学習;正則化;線形識別器のまとめ（改）;出力で確率値を出したい場合;出力で確率値を出したい場合(続)

Logistic回帰;最大エントロピーモデル

（後で読んでね）;Logistic回帰の学習;多クラス分類;多クラス分類;多クラス分類;パーセプトロンによる学習;多クラス版最大エントロピーモデル;系列分類問題

（構造出力学習）;;系列分類問題（続）;固有表現抽出;系列分類

順次適用モデル;系列分類、解き方;B;Viterbi復号;MEMMなどの順次適用モデル

の問題点1.labelbias;MEMMなどの順次適用モデル

の問題点2.lengthbias;条件付確率場

CRF(ConditionalRandomFields);B;B;素性;CRFの特徴まとめ;パーセプトロンによる学習;パーセプトロンによる学習;パーセプトロンまとめ;CRF++を使って系列分類を

行なおう;訓練データのフォーマット;訓練データ例;素性テンプレート;#Unigram

U00:%x[-2,0]

U01:%x[-1,0]

U02:%x[0,0]

U03:%x[1,0]

U04:%x[2,0]

U05:%x[-1,0]/%x[0,0]

U06:%x[0,0]/%x[1,0]

U10:%x[-2,1]

U11:%x[-1,1]

U12:%x[0,1]

U13:%x[1,1]

U14:%x[2,1]

U15:%x[-2,1]/%x[-1,1]

U16:%x[-1,1]/%x[0,1]

U17:%x[0,1]/%x[1,1]

U18:%x[1,1]/%x[2,1]

U20:%x[-2,1]/%x[-1,1]/%x[0,1]

U21:%x[-1,1]/%x[0,1]/%x[1,1]

U22:%x[0,1]/%x[1,1]/%x[2,1]

;固有表現を作ってみる(1/4);固有表現を作ってみる(2/４);固有表現を作ってみる(3/４);学習と推定(4/4);質問/回答(1/4);質問/回答(2/4);質問/回答(３/4);質問/回答(4/4);9、春去春又回，新桃换旧符。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，日子像桃子一样甜蜜。10月-2010月-20Sunday,October11,2020

10、人的志向通常和他们的能力成正比例。09:45:5309:45:5309:4510/11/20209:45:53AM

11、夫学须志