番组推荐-滝口研究室-神戸大学.ppt

ユーザの表情に基づく映像コンテンツへのタギング 神戸大学 大学院工学研究科　 宮原 正典，青木 政樹，滝口 哲也，有木 康雄 研究の背景 テレビのディジタル放送開始→多チャンネル化 YouTube,ニコニコ動画など動画共有サイトの発達 番組自動推薦システム 従来手法の課題と提案 想定環境 ユーザはPCのディスプレイに映るコンテンツを1人で視聴 ウェブカメラはユーザを撮影 PCはコンテンツの再生とユーザ顔動画の解析処理 提案システムの概要 AdaBoostによる顔領域抽出 Haar-like特徴を用いたAdaBoostにより，正確な顔領域の抽出を行う．[2001,Viola] 顔領域を切り出すことで，ユーザとカメラとの距離を正規化できる EBGMにおいて，探索範囲を限定することで，計算時間を短縮 EBGMによる特徴点抽出?個人認識 画像を，様々な周波数と方向を持ったGaborフィルターで畳み込み，それらの応答の集合をJetとする． 顔特徴点の各点のJetを組み合わせたものをFace Graphと呼び，あらかじめ複数人からFace Graphを生成して束ねたものをBunch Graphと呼ぶ． Bunch Graphと入力画像のFace Graphの類似度を計算し，特徴点の探索を行い，特徴点抽出と個人認識を行う． SVMによる顔表情認識 EBGMの個人認識により，個人を特定し，その人の無表情画像と個人顔表情識別器を選択する． EBGMによって抽出された34点の顔特徴点について，無表情のときとの差分を取った，68次元のベクトルを特徴ベクトルとする． Multiclass SVM(RBFカーネル)により顔表情認識を行う． 顔表情のクラス分類(タグ)定義 実験条件 被験者2名(A,B)に1回約17分間の映像コンテンツを4回分視聴させる． その際，被験者を撮影した動画と，再生されている映像コンテンツを同期させながら，15fpsで記録． その後，以下のようなインターフェースを用いて，顔表情タギングを手動で行った． 顔動画の手動タギング結果 予備実験1 予備実験1－AdaBoostによる顔領域抽出 予備実験2 予備実験2－EBGMによる個人認識 評価実験 評価実験－SVMによる顔表情認識 実験結果－SVMによる表情認識 考察 平均再現率は87.6%，平均適合率は88.0%と良好な結果が得られた． 被験者がPositiveやNegativeと答えていても，表情表出の度合いが小さい場合，システムがNeutralと誤認識するパターンが多い． 1つのフレームに表情のタグは1つしかないと仮定しているので，中間的な表情をしている場合，誤認識が多発する． デモ映像 まとめと今後の方向 事前学習の手間をできるだけ減らすようにする 複数人同時視聴に対応 顔方向?視線方向の追跡 表情以外のマルチモーダル情報も使い，番組推薦を行うシステムの構築 実験結果－Confusion matrix 被験者A 実験結果－Confusion matrix 被験者B 次に，Support Vector Machinesによる顔表情認識について説明します． 先程のElastic Bunch Graph Matchingによって，個人を特定した後，あらかじめ登録してある，その人専用の無表情画像と個人顔表情識別器を選択します． Elastic Bunch Graph Matchingによって抽出された34点の顔特徴点座標について，無表情のときとの差分を取った68次元のベクトルを特徴量とします． RBFカーネルを用いたマルチクラスSVMによって顔表情認識を行います．このときの顔表情のクラス分類定義についてですが， 従来では，関心のあるなしといった2クラスに分類していましたが， 関心あり，の中にも，ポジティブな関心と，ネガティブな関心があるのでは，と考えました． 例えば，ユーザが不快なものを凝視しているとき，そのものには関心があるが，もう二度と見たくないと思うことが考えられます． 番組推薦を行う上ではこのような例は区別しておきたいので，この表のように，Neutral, Positive, Negativeという3つの顔表情クラスを用意しました． また，顔表情ではありませんが，ユーザが画面に顔を向けていない，顔の一部が隠れている，顔が傾いている，などといった状況を表す，Rejectiveというクラスも用意しました．これらの場合は，高い精度で顔表情認識を行うことが困難なので，リジェクトすることにしました． それでは，評価実験の説明に入ります． まず，実験条件について説明します． 被験者2名(被験者A,被験者B)に1回約17分間の映像コンテンツを4回分視聴させました