0-北海道大学.pptVIP

北海道大学 Hokkaido University 北海道大学 Hokkaido University 情報理論 講義資料 * 情報理論 講義資料 2015/07/10 [復習]通信路符号化の限界 通信路符号化定理（Shannonの第2符号化定理） 通信路容量がCである通信路に対し、R＜C であれば、情報速度R の符号で復号誤り率がいくらでも小さいものが存在する。R＞C であれば、そのような符号は存在しない。 入力アルファベット A＝{a1,a2,…,ar}の元 出力アルファベット A＝{a1,a2,…,ar}の元 通信路 （通信路容量C ） X Y 情報速度R で符号化 通信路容量 C＝max{ I(X; Y) } (ビット/記号) PX 情報伝送速度 R＝ (log2 M )/ n (ビット／記号) Mは、長さnの系列 のうち符号語として使わ れる系列の個数 通信路復号 無記憶定常通信路の場合 * 情報理論 講義資料 2015/07/10 単一パリティ検査符号(1) 0,1 からなる長さ k の系列 x1x2???xk を2元通信路を介して伝送したい。 1個の誤りが生じた場合、それを検出（検知）するにはどうすればよいか？ 単一パリティ検査符号 系列に含まれる「1」の個数が偶数になるように、 もう一つ記号を付け加えて送る符号化。 　付け加える記号を c とすると、 c＝ x1＋x2 ＋???＋xk と書ける。この演算はまた、mod 2の演算と考えてもよい。 　すなわち、通信路を通して送られる系列は w＝x1x2???xk c -----------------------(1) となる。 x1x2???xk は情報を伝達するために用いられる記号なので、 情報記号（information symbol）あるいは2元記号の場合は情報ビットと呼ぶ。 c は誤り検出のために付加された記号なので、（パリティ）検査記号（[parity] check symbol）、または（パリティ）検査ビットという。 式(1)は、　w＝(x1 , x2 , ???, xk , c) と表すことがある。 ＋ は排他的論理和? 含まれる1の個数が 偶数の場合は 0 奇数の場合は 1 * 情報理論 講義資料 2015/07/10 単一パリティ検査符号(2) たとえば長さ k＝2 の単一パリティ検査符号は、w＝(x1 , x2 , c) が (0,0,0)、(0,1,1)、(1,0,1)、(1,1,0) となるので、長さ 3、符号語数 4 の符号 C＝{000, 011, 101, 110} を用いているとみなせる。 一般には、長さ k の系列に対し、 長さが k＋1 で、１の個数が偶数で あるような全ての２元系列からなる 符号長 n＝k＋1、符号語数 M＝2k の符号を用いているとみなせる。 単一パリティ検査符号は、一つの 誤りを検出できる。このように誤りの 検出に用いられる符号を誤り検出 符号（error-detecting code）と呼ぶ。 100 110 101 001 000 010 011 111 c x1 x2 図7.1 単一パリティ検査符号の幾何的表現 含まれる１の個数が偶数個 符号語に隣接する点は 符号語になっていない * 情報理論 講義資料 2015/07/10 組織符号 k 個の情報記号から、n－k 個の検査記号を一定の方法で求め、 付加することにより符号化される符号長 n の符号を組織符号 （systematic code）と呼ぶ。 符号長 n、情報記号数 k の組織符号を (n, k) 符号と書く。 (n, k) 符号の効率は、 η＝R / Rmax＝(log2M)/n＝(log22k)/n＝k / n である。 単一パリティ検査符号は (k＋1, k) 符号であり、 効率はη＝k / (k＋1) である。 長さ n の系列で、 情報記号数 k を送る ことができるから k を大きくとれば効率は上がるが、 冗長度が低くなり信頼性は小さくなる w＝x1 x2 ??? xk c1 c2 ??? cn－k n * 情報理論 講義資料 2015/07/10 線形符号とパリティ検査方程式 線形符号（linear code） 　c＝ x1＋x2 ＋???＋xk のように、検査記号が情報記号の線形な式で与えられる符号 　線形符号の最も基本的な性質 　「任意の二つの符号語について、その成分ごとの和をとると、それがまた符号語になる」　（線形符号となるための必要十