信息率与编码3-1总汇.ppt

对称矩阵 * * 3.3.2 * §3.2 单符号离散信道的信道容量 例3：求所给信道的信道容量 ： 解：该信道为准对称信道（判,略） ⑴ 先求p(yj) ：p(y0) =1/2×(1/2+1/4) =3/8=P(y1) P(y2)=1/2×(1/8+1/8)=1/8= P(y3) ∴ §3.2 单符号离散信道的信道容量 五、离散信道容量的一般计算方法 若一个信道的信道转移阵满足非奇异阵，则可用下列方法求得。 令所有的输入符号xk有： 则有： 再令 看作未知数，连立K个方程 解之得： §3.2 单符号离散信道的信道容量 有约束条件 得： 至此，解题并未结束，还必须由C求得p(y)，再最终求得p(x), 仅当所有的p(x)0，其所解得的C才是正确的，否则，须令某 个p(x)=0，重新再解，直至所有的p(x)0，为止。 例4：求左图之信道容量 0 0 1 1 2 2 3/4 3/4 1/3 1/4 1/3 1/3 1/4 课 间 休 息 §3.2 单符号离散信道的信道容量 解：由图得信道的转移阵： 并由公式得： 3/4log3/4+1/4log1/4+ 0 =3/4[C+logω0] +1/4[C+logω1] 1/3log1/3+1/3log1/3+1/3log1/3=1/3[C+logω0] +1/3[C+logω1] +1/3[C+logω2] 1/4log1/4+3/4log3/4+ 0 = 1/4[C+logω1] +3/4[C+logω2] 令 有，并用行列式法解之： 3/4log3/4+1/4log1/4+ 0 =3/4β0 +1/4β1 1/3log1/3+1/3log1/3+1/3log1/3 =1/3β0 +1/3β1+ 1/3β2 1/4log1/4+3/4log3/4+ 0 = 1/4β1 +3/4β2 §3.2 单符号离散信道的信道容量 ∴ β0 =Δβ0 / Δ=-4H(3/4,1/4)-1/3log1/3=0.454488(Hat) β1=9log1/3+8H(3/4,1/4)=-2.340339(Hat) β2=β0 =0.454488(Hat) ∴ C+logω0= C+logω2=0.454488 C+logω1=-2.340339 ω0+ ω1+ ω2=1 §3.2 单符号离散信道的信道容量 ∴10-c[100.454488×2+10-2.340339]=1 ∴ C=lg5.7000=0.755874 (Hat/符号) 由 C+logωi=βi 得：ω0 =ω2=0.49960 ω1=0.0008013 求p(xi): ω0=p(0)p(0/0)+p(1)p(0/1)=0.49960; ω1=p(0)p(1/0)+p(1)p(1/1)+p(2)p(1/2)=0.0008013; ω2=p(1)p(2/1)+p(2)p(2/2)=0.49960; 得：p(1)0 ∴原解不合，令 p(1)=0 原信道变为删除信道。 §3.2 单符号离散信道的信道容量 令：输入为均匀分布，解之得：C=0.75 比特/信道符号 0 0 1 1 E 定理 一般离散信道达到信道容量的充要条件是输入概率分布满足 该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息（零概率除外）。 3.2.4 一般离散无记忆信道及信道容量 可以利用该定理对一些特殊信道求得它的信道容量 例：输入符号集为:{0,1,2} 假设P(0)=P(2)=1/2，P(1)=0，则： 所以： §3.3 多符号离散信道 一、多符号离散信道的数学模型 设：信道的输入信源为 ：X=x1x2…xN,其中xk(k=1,2,…N) 取自于X={x1x2…xn}，则信源X共有nN 个不同的元素 ai(i=1,2,…nN) ai=(xi1xi2…xin), xi1,xi2,…xin∈{x1,x2,…xn} i1,i2,…,iN=1,2,…n; i=1,2,…nN 同理在输出端有： b