情報量とエントロピー - Home - Taura Laboratory.PDFVIP

情報量とエントロピー  田浦健次朗 本日の範囲 コンピュータにおける ファイルと 情報の表現 その中身 ファイルと コンピュータの仕組み 通信・ネットワーク, 情報の符号 フォルダ インターネット 化, その限界 コマン プログラムの仕組み 通信の符号 暗号 ライン 化, その限界 簡単なプログラ Excel で計算・ 基礎的概念 ムの作成 ・実行 データの可視化 ( 本講義中では) やや高度な概念 実技・実践 計算機による情報表現の基本  ( 人間が) 計算機を通じて目にする「情報」に は様々なものがある  文字, 絵, 音, 動画, etc.  計算機はそれらすべての情報を 0/1 (bit) の列と して表現する  というよりもbit の列しか蓄積・処理できない  注: 通常 8 bit 未満の単位で情報を蓄積・処理 することはないので, 8 bit をまとめてバイト (byte) と呼び, 「すべてをバイト列で表現す る」というのが実際に近い 用語: 符号化と復号化  符号化(encoding)  ( なんらかの意味のある) 「情報」 → バイトの列  復号化(decoding)  バイトの列 → ( なんらかの意味のある) 「情報」 「情報」 「情報」の符号 ○○ さん 符号化 こんにちは 226 151 139 226 151 ... 復号化 255 216 255 224 0 ... 212 0 124 218 26 34 58 29 ... 符号化にあたっての一般的な制約  ( 当然のことながら) 符号から, 元の情報が復元 可能でなくてはならない  A → 00  B → 01  C → 000  D → 1  というわけにはいかない(0001 はA なのかCD な のか?) 本日の内容  情報量と情報エントロピー  効率の良い符号化( 圧縮)  情報源符号化定理 全体を通した動機付け  符号化の方法にも色々ある  cf. 前回の演習  テキストファイル vs それをgzi