情報理論 - akita-pu.ac.jp.pptVIP

* 一方、　　　は確率ベクトルなので、 が成り立つ。 全ての行ベクトルが確率ベクトルなので遷移確率行列は正則でなく逆行列を持たない。 よって、このように必ず不定の解になる。 検算 前のスライドとこの式から求める。 * 練習 次の状態遷移確率行列で表される情報源の定常分布を求めよ。 （１） （２） * 無記憶情報源における定常分布 無記憶情報源における定常分布は、出現確率と一致する。 無記憶情報源が次式で表されているとする。 このとき、状態遷移確率行列は次式で表される。 すべての行が同一な 状態遷移行列。 逆に、このような行列で表される情報源が無記憶情報源。 * * 情報源アルファベット　　　　　　　　　　　を持ち、状態遷移確率行列が で表されるマルコフ情報源を　　　とする。 このとき、随伴情報源　　　　　は次式で表される。 マルコフ情報源の随伴（無記憶）情報源 マルコフ情報源　　　の定常分布を確率分布とするような無記憶情報源を元のマルコフ情報源の随伴情報源　　　という。 例 * （補足）マルコフ情報源のエントロピー マルコフ情報源　　　に対して、　　　を条件とする　　　の条件付きエントロピー　　　　　　　　　　　　をマルコフ情報源のエントロピーという。 * マルコフ情報源のエントロピー例 状態遷移確率行列 で定まるマルコフ情報源　　　のエントロピーを求める。 まず、定常分布　　　　は以下で与えられる。 状態０におけるエントロピー（０を条件とする条件付きエントロピー）　　　　　　　　および状態１におけるエントロピー　　　　　　　　　　　　を求める。 * ０の時のエントロピー １の時のエントロピー マルコフ情報源のエントロピー * マルコフ情報源のエントロピーの意味 ０状態において、 記号出力に注目した平均情報量 １状態において、 記号出力に注目した平均情報量 ０状態の一種の存在確率 １状態の一種の存在確率 * イメージ ０を取ったら次は０の箱から取り、１を取ったら次は１の箱からとる。取った玉は元に戻す。 1 1 1 1 0 0 0 マルコフ情報源 * 練習 次の状態遷移確率行列で表される情報源のエントロピーを求めよ。 （１） （２） * マルコフ情報源のエントロピーの性質 マルコフ情報源　　　　　に対して、随伴情報源を　　　　とする。このとき、随伴情報源のエントロピーは、マルコフ情報源のエントロピー以上である。すなわち、次式が成り立つ。 出現確率は同じでも、マルコフ情報源の方は記号の現れ方に制限がある。（すなわち、記号の出現の予測が無記憶情報源比べて行いやすい。）したがって、 マルコフ情報源の方が平均情報量が少なくなる。 * 随伴情報源のエントロピー例 の随伴情報源は である。 したがて、エントロピー　　　　　は次式で求められる。 * 練習 次の状態遷移確率行列で現されるマルコフ情報源 の随伴情報源のエントロピーを求めよ。 （１） （２） * 様々な情報源（４章） * 情報源の役割 情報源 受信者 伝送路 (通信路） 情報 今回扱う。 ☆無記憶情報源 　（前の記号に依存しない情報源。サイコロのような情報源） ☆マルコフ情報源 　（前の結果に依存する情報源。英文等は、こっちの方） * 情報源モデル 情報源： 離散的な時刻に従い、 ある記号の集合から、 各時刻に一つの記号を（ある確率的性格で）出力する。 時間軸 情報源アルファベット 情報源から発生する記号の集合 情報源シンボル（記号） 情報源から発生する記号。 情報源アルファベットの要素 記号　　　　　　　　は、時刻 で発生した情報源記号 * 情報源例１ サイコロを振る試行による記号の生成。 情報源アルファベット * 情報源例２ 英文からアルファベットを拾って記号を生成。 情報源アルファベット * 通報 情報源 時間軸 通報 情報源から生成される 記号の列 * 情報源における記憶 記憶のある情報源 無記憶情報源 記号の生成確率が、 以前の記号に無関係 記号の生成確率が、 生成した記号で変化する * 無記憶情報源（独立情報源） 無記憶情報源 記号の生成確率が、 以前の記号に無関係 無記憶情報源の１記号あたりの（平均）情報量は、 次式で表される。 * １記号の発生速度を とする。このとき、単位時間あたりの発生平均情報量は、 次式であらわされる。 * クイズ 次の四角に入るアルファベットを求めよ。 m (1) n m in m il (2) t e t is t at (3) speake teache manne * 記憶のある情報源 記憶ある情報 記号の生成確率が、 以前の記号で変化する * （単純）マルコフ情報源 直前の生成された記号よって、次記号の発生確率が変化する情