確率情報理論基礎.ppt

確率?情報理論基礎 ２００１年度 情報ネットワーク学専攻 伊藤秀一 講義の概要 確率と統計学の基礎 情報理論の基礎 情報源符号化 通信路符号化 その他?行く先不明 参考書など W.Feller: An Introduction to Probability Theory and Its Applications, John Wiley （翻訳有り　確率論とその応用） T.Cover, J.Thomas: Elements of Information Theory, John Wiley 橋本: 情報理論, 培風館 韓,小林: 情報と符号化の数理, 培風館 その他、そのつど紹介する。 講義の進め方 例題 宿題?レポート 期末試験？ 数理的な考え方に基づく学問体系とその工学的な応用に触れ、勉強のおもしろさを発見してほしい。 第１章 はじめに 情報と通信、情報理論の生立ち、情報とは、　… 情報と通信 情報の伝送 のろし、半鐘 腕木、セマフォ（ナポレオン） 正確さ、距離の限界 １９世紀ー電気通信の出現 産業革命 エネルギー 情報革命 大規模なものが可能、いろいろな問題点が明らかになった。 例 Kelvin の海底電線 周波数と時間の関係ーー通信工学のはじまり 雑音のある通信路 通話が正確に伝わらない 「サクラチル」　Y or N, 0, 1 ディジタル通信 ゆっくりと話す 情報の理論的な取り扱い 定量的に扱う必要 確率の概念 情報と雑音 Wiener　…　予測とろ波、サイバネッティクス Shannon …　近代的情報理論 “A mathematical theory of communication,” 1948 情報量、情報源、通信路、通信路容量、符号化基本定理 通信の基本モデル 通信路容量 通信路符号化、無誤り伝送の限界 エントロピー 情報源符号化、データ圧縮の限界 伝送と蓄積 通信 情報を距離の隔たった場所へ移動する 蓄積 情報を時間の隔たった時点へ移動する 第２章　確率論の基礎 確率とは何か? 正しく作られたサイコロを振る １の目の出る確率は１/６ 現実の現象を良く説明できる???なぜ？ 開票速報「X氏は９０％以上の確率で当選確実」？ 既に確定しているはず 判断確率 公理主義による確率の定義 確率的実験　（試行） コイン?トス 表か裏が出る 表が出るか裏が出るかわからない 何度でも実験できる ルーレット ０から３６と００の３８の区画、赤と黒（可能な結果） 数または数の組み合わせを賭ける　（分らない） 何度でも繰り返し実験できる 続き ３０cm定規の長さ 製造された物差しの精度を検査 ２９cmから３１cmの間 電球の寿命 選んだ電球の寿命　???　分らない ０から∞の間 ランダム（無作為）実験 定義　ランダム実験（試行） 実験結果のすべての実現値は事前に既知 実験結果はあらかじめ分らない 実験は同じ条件の元で何度でも繰り返してできる 標本空間（可測空間） 定義　ランダム試行の標本空間 　　 試行の実現値の全集合 部分集合の族（σ-加法族） 説明 Ωの要素を標本点 (sample point) という 集合　　　　　　を事象 (event) という。事象は標本点の集合である。 試行の結果の標本点が A の要素であれば、その試行により事象 A が生起したという。 １つの標本点だけの集合を素事象（単純事象）という。 ｜Ω｜が有限 → 　　　　　は有限標本空間 　　　　　　可算　 → 離散標本空間 　　　　　　非可算 → 非可算標本空間 例 コイン?トス ２つのコイン 「少なくともひとつの表が出る」事象 　　 サイコロを n 回振る Ωは 個の単純事象をもつ。 １を少なくとも１回はもつ事象 A 表が出るまでコインを振る S はすべての自然数の部分集合の族 回転する針 長さ　　の棒を投げる 確率公理 確率測度の定義　集合関数 P(S) 注１　Ωが離散、有界（高々ｎ）のとき 注２　Ωが離散、可算のとき 素事象に等確率を割り当てることは出来ない。 素事象に確率を割り当てれば十分である。 注３　Ωが連続、非可算のとき 各素事象に正の確率を割り当てられない。 例えば 定義：　　　　　　　を確率空間、確率測度空間という。 例 コイン?トス　　Ω＝｛H, T｝　 離散、可算の場合 例　　Ωが非可算 定理１ 系 nul 事象 確定事象 加法定理 定理 証明 系 ネストした集合列 定理 P が下から（上から）の連続性を持つ。 上極限 下極限 ランダム試行の割り当てる確率 例 Buffon