情報理論-北海道大学.pptVIP

北海道大学 Hokkaido University 北海道大学 Hokkaido University 情報理論 講義資料 * 情報理論 講義資料 2016/06/08 情報理論とは 情報の伝達を効率よく、信頼性高く行うための理論 キーワード：情報の伝達、効率性、信頼性 * 情報理論 講義資料 2016/06/08 情報の伝達 情報の伝達の本質は、受け手の知識の変化 受け手の知識の変化が大きいのは？ １月の札幌の天気　受け手は札幌に長年住んでいると仮定 雪降っているよ Case 1 外の天気を知らない場合 雨降っているよ Case 2 外の天気を知らない場合 雨降っているよ 外の天気を知っている場合 Case 3 * 情報理論 講義資料 2016/06/08 情報の伝達 受け手の知識の変化＝ 　　　　　何らかの統計的知識に基づいて受け手が与えている 　　　　　確率分布の変化 統計的知識 雨降っているよ 受け手の世界 過去の統計とか 晴 曇 雨 雪 5.5% 1.2% 0.2% 93.1% 確率分布 晴 曇 雨 雪 0% 0% 100% 0% * 情報理論 講義資料 2016/06/08 通信システムのモデル 情報理論では、受け手の世界（確率分布）を既知と仮定して、情報伝達の効率性と信頼性についての理論を展開する。 そのためには通信モデルをはっきりさせる必要がある。 情報源 information source 符号化 coding 通信路 Communicationchannel 復号 decoding あて先destination データ（通報)data(message) 復号器 符号器 誤りやひずみ 電線 光ファイバ 記録媒体 人間 etc… ディジタル情報源 アナログ情報源 ディジタル情報 アナログ情報 今日学校の帰りに カラオケ行こうぜ 光ファイバーなど 電波 電波 010111010… 今日学校の帰りに カラオケ行こうぜ データ（通報)data(message) * 情報理論 講義資料 2016/06/08 ディジタルとアナログ ディジタル量：　離散的な値をとる量（例：　記号、数字） 　　ディジタルデータ(通報)：　ディジタル量で表されるデータ(通報) 　　ディジタル情報源：　ディジタルデータ(通報)を発生する情報源 　　ディジタル通信路：　入出力ともにデジタル量である通信路 アナログ量：　　連続的な値をとる量（例：　音声、画像） 　　アナログデータ(通報)：　アナログ量で表されるデータ(通報) 　　アナログ情報源：　アナログデータ(通報)を発生する情報源 　　アナログ通信路：　入力、出力の少なくとも一方がアナログ量で 　　　　　　　　　　　　　　ある通信路 * 情報理論 講義資料 2016/06/08 ディジタル通信路?アナログ通信路 0,1で表されるディジタル量をパルスに変換してアナログ量にできる。下図のようなシステムの場合、③④⑤をまとめてデジタル通信路と考えることもできる。 英文の情報源 英文 ?0,1の列 0→1→ あて先 0,1の列 ? 英文 パルスの極性の判定＋ ? 0, － ? 1 ① ② ③ ④ ⑤ ⑥ ⑦ アナログ通信路 デジタル通信路 音声アナログ情報をパルス符号変調技術(PCM)によってディジタル量にできる。（アナログ通報もディジタル通信路で送ることが可能） * 情報理論 講義資料 2016/06/08 効率性?信頼性の高い符号化 より効率よい（短い系列への）符号化　?　情報源符号化 より信頼性を高めるための符号化　?　通信路符号化 英文の情報源 符号化 英文 ? 0,1の列 あて先 復号 0,1の列 ? 英文 2元通信路入力、出力ともに0,1 ディジタル通信路 (例） * 情報理論 講義資料 2016/06/08 効率的で信頼性が高い符号とは？ 例）天気情報を２元通信路を介して送る ２元通信路では送られた記号数に応じて課金される。できるだけ送る記号数を減らしたい。 送られた情報源記号晴,曇,雪,雨が誤っている確率を小さくしたい。 情報源 {晴,曇,雪,雨} 符号化 coding 2元通信路 誤り率10-3 復号 decoding あて先destination 情報源記号 確率 晴 0.055 曇 0.012 雨 0.002 雪 0.931 * 情報理論 講義資料 2016/06/08 効率的な情報源符号化法とは 情報源記号 確率 C1 C2 晴 0.055 0 0 1 0 曇 0.012 0 1 1 1 0 雨 0.002 1 0 1 1 1 0 雪 0.931 1 1 0 符号アルファベット＝{0,1} : 2元符号 （q個あったらq元符号