【2017年整理】总结与复习2016_06.pptVIP

信息论与编码 总结与复习 2016.06;本课程主要内容;第一部分、信息论基础; 3、信息熵的极值性 《1》离散信源各符号等概率时出现极大值： H0=log m 《2》连续信源信号幅度受限时均匀分布出现 极大值： hmax(X)=log (b-a)； 《3》连续信源信号方差有限时高斯分布出现 极大值：; 4、离散序列的信息熵 （1）无记忆信源的联合熵与单符号熵： H(X1X2……XN) = H(X1)+H(X2)+H(X3)+……+H (XN) = NH(X1) （2）有记忆信源的联合熵与条件熵： H(X1X2……XN)=H(X1) + H(X2|X1) + H(X3|X1X2) + ……+H (XN|X1X2……XN-1) （3）平均符号熵： HN =H(X1X2……XN) / N;（4）序列信息熵的性质： 《1》条件熵不大于无条件熵，强条件熵不大于弱 条件熵：H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ … …… ≥H (XN|X1X2……XN-1) 《2》条件熵不大于同阶的平均符号熵: HN ≥H (XN|X1X2……XN-1) 《3》序列越长，平均每个符号的信息熵就越小： H0 H1 ≥ H2 ≥ H3 ≥ …… ≥HN ≥ H∞ （以上不等式无记忆信源等号成立。）; 第一部分、信息论基础 1.1 信源的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;;[例1]已知信源先验概率p(x)={0.7, 0.3}，信道传输 矩阵 ；试计算各信息熵和互信息。; H(Y | X)= – 0.21log0.3 –0.14log0.2 –0.35log0.5 –0.12log0.4 –0.09log0.3–0.09log0.3 = 1.5114 bit/符号 (4)接收符号熵：由; H(X|Y)= -0.21log(7/11) - ……0.09log(9/44)=0.8558 bit/符号 或：H(X|Y)=H(XY)-H(Y)=2.3924-1.5266=0.8558 bit/符号 (6)平均互信息： I(X;Y)=H(X)-H(X|Y)= 0.881 –0.8558=0.0252 bit/符号;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第二部分、无失真信源编码 2.1 信源编码理论;第二部分、无失真信源编码 2.1 信源编码理论; 第二部分、无失真信源编码 2.2 编码方法;[例5]设信源概率空间为， 编码符号集为Y={0,1}，设计最佳二元编码（要求码长方差最小）。 解：Huffman编码为： s1(10)，s2(11)，s3(010)，s4(011)， s5(0000)，s6(0001)，s7(0010)，s8(0011) 平均码长：l =2.75 H(X)=2.75bit/符号，η=100% ;第二部分、无失真信源编码 2. 2 编码方法;第三部分、信道编码 3.1 信道编码理论;2、译码规则与错误概率： （1）最小错误准则：选联合概率矩阵每列最大元素 （2）最大似然准则：选传输概率矩阵每列最大元素 （3）错误概率计算：未选中元素的总联合概率 （4）差错率计算 （5）漏检率计算 3、几种简单的信道编码： （1）重复码（2）奇偶校验码（3）恒比码 ;3.2 线性分组码—属于线性群码: 码长为n，信息位为k ，记作（n , k）； 监督位r ＝n-k 系统码：信息位