中间発表2006年7月-me.cs.scitec.kobe.pptVIP

トピックモデルとタスクの知識を用いた言語モデルによる野球実況中継の構造化 神戸大学大学院 自然科学研究科 佐古淳，滝口哲也，有木康雄 背景?目的 背景 マルチメディアコンテンツの増大 検索や要約のための情報が必要 スポーツが扱いやすくニーズも存在 システム概要 問題点 提案手法 従来の提案 状況と単語を同時推定する音声認識 タスク知識を利用 状況の推定により構造化可能 単語誤りの改善はキーワードのみに限定 話題遷移を考慮した言語モデル 全体的な単語誤りの改善 構造化のための仕組みなし 従来手法 状況と単語を同時推定する音声認識 単語系列Wと状況系列Sを同時推定 状況と単語を同時推定する音声認識 単語系列Wと状況系列Sを同時推定 状況と単語を同時推定する音声認識 状況と単語を同時推定する音声認識 利点 タスク知識を利用して誤認識を回復 状況を推定する機構（構造化可能） 欠点 改善はキーワードに限定 (フォアボール?ファールボール?三振など) 人手によるラベルの付与が必要 従来手法 話題遷移を考慮した言語モデル 目的 話題毎の特徴を表現した言語モデル 話題間の遷移確率 話題遷移を考慮した言語モデル 従来手法 Stochastic Switching N-gram [長野ら,02] EMアルゴリズムを用いて学習 複数言語モデル 言語モデル間の遷移確率 出現単語ベースで学習 話題遷移を考慮した言語モデル PLSA [hoffman,1999] 文書を構成する潜在トピックを学習 潜在トピック毎の単語unigram確率を学習 話題遷移を考慮した言語モデル 話題モデルの学習 話題遷移を考慮した言語モデル Topic HMM 話題遷移を考慮した言語モデル 潜在トピック出力確率 話題遷移を考慮した言語モデル 言語モデル適応 話題遷移を考慮した言語モデル 話題遷移を考慮した言語モデル 利点 多くの単語について認識誤りが改善 ラベルの付与が必要ない 欠点 知識を用いないため構造化不可能 提案手法 従来の２手法を統合 定式化 提案手法 従来の２手法の統合 提案手法 認識の手順 実験 ４手法での比較 通常の音声認識 状況と単語を同時推定する音声認識 話題遷移を考慮した言語モデル ２手法を統合した音声認識 評価 単語正解精度 キーワード検出のF値 構造化正解率（投球毎に判定） 実験条件 音響分析条件?HMM 実験条件 音響モデル: CSJベースに話者適応 言語モデル: 書き起こしから学習 未知語なし 音声データ ラジオ実況中継音声 発話時間：１時間半 異なり単語数：約3000 潜在トピック数:70 トピックHMM状態数:30 実験結果 考察 改善例 話題依存言語モデルの効果？ 従来：浅井 に 六 の その が 出 まし た 提案：浅井 に 六 号 ソロ が 出 まし た 話題遷移確率の効果？ 前発話：バッター 多村 に 一 球 目 を 投げ まし た 従来：多村 厘 提案：空振り まとめ 野球中継の構造化 構造化正解率：72.8% 従来の２手法を統合 状況と単語を同時推定する音声認識 話題遷移を考慮した言語モデル 統合により構造化正解率が改善 音声認識を利用 ラジオ中継音声を利用 TV中継よりも情報が多い 1 out 1B 1S 2S 0B 0S 1B 1S 1st top 0 out 0S 0B 構造情報 ラジオ音声 音声認識 構造化 投げました。ボール。ファールボール。 ……。投げた、空振り三振。…… ラジオ音声 音声認識 投げました。ボール。ファールボール。 ……。投げた、空振り三振。…… フォアボール 誤認識 音声認識性能の向上 誤認識への対応（タスクの知識を利用） が必要 音声認識性能 音響?言語モデル適応済み 単語正解精度65.0% 従来の２手法の統合 状況と単語を同時推定する音声認識 状況と単語を同時推定する音声認識 話題遷移を考慮した言語モデル 状況依存 音響モデル 状況遷移モデル 状況依存 言語モデル 近似 ※観測音声O 状況遷移の制約 （ルール等） 状況依存言語モデル 「三振」と認識 ?遷移確率0 「阪神」と認識 ?言語尤度低下 ファールボール をフォアボール と誤認識 次のバッター 三振！ 状況と単語を同時推定する音声認識 話題遷移を考慮した言語モデル 話題遷移を考慮した言語モデル 野球中継 　発話内容がある程度固定 　発話順序に偏り 言語 モデル 話題のクラスタリング クラスター間の遷移確率 Ergodic HMM 言語 モデル Ergodic HMM 潜在的な話題を考慮した 　モデルを提案 サッカー 経済 情報 例：W杯、経済効果、Webサイトについての記事 d: 文書 w: 単語 z: 潜在トピック ：潜在トピ