ニューラルネットワークについて勉强する ver2 - sfc - keio university.ppt

2004/08/17 ニューラルコンピューティングを理解する 第一版：2006/12/12 第二版：2007/11/12 Graduate School of Media and Governance Keio University Kensuke Naoe 動機?勉強会の趣旨 武藤研の中でもニューラルについてほとんど理解していない学生が多い 自分自身もそうであった 元々の興味は情報セキュリティ 問題解決の一つのツールとしてニューラルを使った 適切に問題設定をし，適切なモデルを使うと有用 みんなにもニューラルについて詳しくなってほしい?興味を持ってほしい 応用範囲 数学 物理学 化学 経済学 統計学 遺伝子工学 言語処理 画像処理（静止?動）?音声処理 セキュリティ 情報工学（通信?プロトコル） 認知科学（パターン処理?認識?分離） 問題設定（発見）＞モデルを作り＞問題を解く 結局ニューラルがというわけではなく，すべてのアルゴリズムのコアの部分は突き詰めていくとどれも似たようなものになっている． Agenda 第一部　ニューラルネットワークとは 第二部　多層パーセプトロンモデル 第三部　自己組織化特徴マップモデル ニューラルネットワーク ニューロン（神経細胞） 電気信号の入力と出力という単純な作業しか出来ない 有機的に接続されたネットワークを形成すると，様々な複雑な処理が可能 ニューロンにより形成されたネットワークをモデル化したものをニューラルネットワークと呼ぶ ニューラルネットワークモデル ニューロンのモデル バイナリモデル(Hopfield, McCullochPitts) シグモイドモデル Radial Basis Functionモデル 競合ニューロン シナプス結合の形態 リカレントモデル 階層型パーセプトロン フィードフォワード フィードバック ニューロンと結合によるモデルの違い 状態遷移モデル Hopfield　連想記憶，最適化問題　Hebb則 競合学習モデル Self Organization Map　自己組織化マップ　 教師なし学習 信号伝播モデル パーセプトロン　(rosenblatt) 一般δルール Rummelhart　教師あり学習 ニューラルネットワークへの誤解 ニューラルは使えない アバウトすぎて使えない 毎回答えが違うなんてありえない ニューラルは万能だ ニューラル使えばなんでも解けちゃうよ これらは全部誤解であると言いたい！ 問題に合わせたモデルを選択する事が重要 ニューラルの手法の得意な事?不得意な事がある ニューラルが取り扱いたい実際の問題として， 最適な配置問題，最適化 出力（システム）のダイナミクスを観察することで理解できることもある 特徴空間の分類問題. 特徴空間のクラスが最初からgiven or known 特徴空間がどのようにマップされるか分からない 　　　出力のダイナミクスを観察する　　　　　N-queen問題の場合 ニューラルでN-queen問題を解く 分類問題　あらかじめクラスが分かっている時（１） 分類問題　あらかじめクラスが分かっている時（２） XOR問題をbackpropagation学習で解く 分類問題　クラスがいくつ存在するか分からない時（１） 分類問題　クラスがいくつ存在するか分からない時（２） 分類問題　クラスがいくつ存在するか分からない時（３） 分類問題　クラスがいくつ存在するか分からない時（４） ニューラルで色の分類をしてみる 今回の勉強会で話すこと 信号伝播モデル 階層型パーセプトロンモデル 競合学習モデル 自己組織化特徴マップモデル 「多層パーセプトロンモデルと　バックプロパゲーション学習」　　　　　を説明するスライド Special thanks to Masato Aoba Keio University Graduate School of Media and Governance Kensuke Naoe パーセプトロン限界説 Minskyのパーセプトロン限界説 非線形分離が出来ない Rummelhartが多層構造を持たせて，バックプロパゲーション学習を使えばXOR問題も解けることをしめした． このことから非線形分離問題を解けるバックプロパゲーション学習が広まり，ニューラルネットワークはまた脚光を浴び始めた． 直江持論： 特徴空間における非線形分離能力はバックプロパゲーションで得られる能力のほんの一部でしかない． むしろ非線形な関数近似能力が最大の利点だ！ 　　　ニューラルネットワークの種類と性質　　　　　　　　　　　　　（構造による違い） リカレント型 Hopfieldモデル，武藤モデル など リカレント結合 出力