協調フィルタリングを用いた ロジェクトコスト超過の予測.pptVIP

協調フィルタリングを用いた　　　　　　　　　　プロジェクトコスト超過の予測 奈良先端科学技術大学院大学 情報科学研究科 ○本村拓也　柿元健　　角田雅照 　 大杉直樹　門田暁人 松本健一 開発プロジェクトのコスト超過 開発プロジェクトのコスト超過が問題となっている コスト超過は利益率を低下させる 大規模プロジェクトでコスト超過が起これば，小規模プロジェクトで得た利益が容易に損なわれる 02年度に全米で実施された調査の結果，プロジェクトあたりの，実施コストに対する超過コストの割合は平均43%であった[1] コスト超過の予測方法と問題点 過去，及び，現行プロジェクトの，定量化したリスク要因を根拠に用いて予測を行う[2] リスク要因 プロジェクトに含まれる，コストへの影響を持つと考えられる要因 　　（例：機能要求の明確さ，顧客との関係 ） 定性的に一定段階の数値などで評価され，定量化される 予測の根拠となるリスク要因の評価値が記録されず穴あきの値（欠損値）となる場合が多く存在する 部署やプロジェクト間の，定義されたリスク要因の差異 評価担当者による評価忘れ 従来手法である線形判別分析では，欠損値が多くなると(40%以上)，予測精度が著しく低下する[3] 目的とアプローチ 目的 計測データに欠損値が多い場合でも，コストが超過するプロジェクトを高い精度で判別する手法を提案する 　　　　　　　　　　　　　　　　　　 アプローチ コスト超過プロジェクトの判別に協調フィルタリング(CF)を適用する 欠損値による予測精度への影響が小さい[4] 判別の精度を実験により評価する 企業で行われたプロジェクトで収集された，リスク評価値のデータを用いる 評価のために，線形判別分析を比較対象とする 線形判別分析を行うには，欠損値の処理作業が必要である 協調フィルタリング 協調：複数のユーザの知識を利用して フィルタリング：大量のアイテムの中から，役立つアイテムだけを選び出す（推薦する） 協調フィルタリング（応用例：Amazon.co.jpの書籍推薦システム） コスト超過予測へのCFの応用（予測に用いるデータ） プロジェクトの定量的なリスク評価と，コスト超過の評価値データ 各リスク要因の評価値 ： 0 （危険無） ～ 3 （危険高） コスト超過の評価値 ： 0 （良），１（不良） 不良：コスト超過の度合が社内規定において許容範囲外だった コスト超過予測へのCFの応用（ユーザベースCF） コスト超過予測へのCFの応用（アイテムベースCF） 類似度計算：コスト超過評価値とリスク要因間の類似度を求める 予測値計算：類似度の高い上位k 件のリスク要因の評価値を類似度で加重平均し，コスト超過評価値の予測値を算出する 実験（概要） 目的 CFを用いたコスト超過予測が，従来手法である線形判別分析と比べて，有効となり得るか否か明らかにする ３種類の方法を用いて予測を行い，精度を比較した． ユーザーベースCF　（類似度計算：Cosine-similarity） アイテムベースCF　 （類似度計算：Pearson-similarity） 線形判別分析 複数の変数（リスク評価値）に基づいて一次の判別関数を作成し，サンプルデータ（プロジェクト）が２つの群（良：不良）のどちらに属すかを判別する手法 欠損値処理を行う必要がある　（今回は，平均値挿入法を用いた） ステップワイズ法による変数選択を適用 用いたデータ ある企業において過去に行われたプロジェクトで作成されたリスク要因の評価データ 実施時期や規模，形態が異なる全45件のプロジェクト 199のリスク要因が含まれた 多量の欠損値が含まれた 手順 精度評価指標 適合率 不良”1”と判別されたプロジェクト(Nr件)のうち，実際に不良”1” だったプロジェクト(Na件)の割合 再現率 実際に不良”1”だったプロジェクト(Nu件)のうち，不良”1”と判別されたプロジェクト(Nr件)の割合 適合率と再現率はトレードオフの関係にある 例：予測値の閾値を極端に低く設定すると， 　　不良プロジェクトが極端に増え，再現率は高くなるが，適合率は低くなる 精度評価指標 F1値 [5] 適合率と再現率を１つの値で表現する指標 F1値が大きいほど，予測精度が高いことを表す 結果 ユーザベースCFによる予測から，最も高い精度が得られた ユーザベースCFを用いたプロジェクトのコスト超過予測の有効性が確認できた アイテムベースによる予測では，特に再現率において線形判別分析と比較して高い精度が得られた 考察 CFの精度に関して 実験に用いたデータの欠損値が非常に多い（平均欠損率40%以上）ので，線形判別分析よりもC