电子科大信息论与编码2016复习提纲教程.ppt

* 香农公式的意义 最大信息传输速率与所传输信号的带宽成正比，基本与信噪功率比成正比 信噪功率比小于1时最大信息传输速率仍大于0 所传输信号的带宽趋于无穷时，最大信息传输速率趋于有限值 最大信息传输速率一定时，增大所传输信号的带宽，可以降低对信噪功率比的要求 * 第4章 信息率失真理论 汉明失真矩阵 平方误差失真函数 * 单符号离散信源的信息率失真函数 信源固定时，平均互信息量是信道转移概率分布的严格下凸函数，总能在实验信道中找到一种信道转移概率分布，使实验信道中传输的平均互信息量在保真度准则下达到最小 二进制信源的信息率失真函数 R(D) D 0.5 0.25 p=0.25 p=0.5 0 1 0.811 ，当0 =D =min{p，1-p} 等概率信源的信息率失真函数 * 高斯信源的信息率失真函数 方差为D的反向高斯加性信道 R(D) D 0 * 第5章 信源编码 编码效率 异前置码 延时码——等到对应于下个符号序列的码字出现时才能译出 * 长度为ki i=1,2, …,nN的二进制异前置码存在的充分必要条件 Kraft不等式 * 香农码 ①将符号序列ai i=1,2,…,nN按概率降序排列 ②确定第i个码字的码长 ③令P(a0)=0，计算第i-1个符号序列的累加概率 ④将Pa(ai)用二进制表示，取小数点后ki位作为符号序列ai的码字ci i=1,2,…,nN * 费诺码(Fano Code) 费诺码算法： 符号序列ai按概率降序排列 划分为两组，每组概率之和尽可能相等 为两组分别分配编码“0”和“1” 在每个分组中，重复步骤 2、3，直到不可划分 * ①将符号序列ai i=1,2,…,nN按概率降序排列 ②为概率最小的两个符号序列各自分配一个二进制码元 ③将概率最小的两个符号序列合并成一个新的符号序列，用两者概率之和作为新符号序列的概率 赫夫曼码 重复① ② ③步骤，直到合并出一个以1为概率的新符号序列 分配给符号序列ai的全部码元作为该符号序列的码字ci i=1,2,…,nN * Shannon, Fano, Huffman编码要求 （1）能对N次扩展后的信源，进行编码。 注意： 扩展后，概率顺序，要重新排列 （2）能计算平均码长，和编码效率 * 第6章 信道编码 平均译码错误概率 * ④线性分组码检错纠错的充要条件 线性分组码(n,k)检e个错并纠t个错的充要条件—— 检1个错并纠1个错的线性分组码的充要条件 要会利用其去求平均译码错误概率Pe * * (n,k)汉明码，要求在已知H时，能完成整个编码过程： （1）求G矩阵： （2）求编码Ci和汉明距离： 线性分组码：什么是线性？什么是分组？ * （3）在接收端，判断误码和完成纠错 如果只有1个bit错误，则不为0的Si=H矩阵的第i列，则误码就在第i个位置上，纠错：（注意：模2加，和模2乘） Mike Brookes * E4.40/SO20: Information Theory * Mike Brookes * E4.40/SO20: Information Theory * See Horibe1977 Could include a non-examinable proof of the bound – or in problem sheet 概论 概论 * 2. Algorithms（Chapter 5, 6）： 信源编码，信道编码 信息（information）定义：消除不确定性的东西 Theory（Chapter 2,3,4）： 熵，信道容量，率失真函数 Chapter 1 * 消息 信号 信号+噪声 消息 消息（message）中用以消除不确定性的成分, 就是信息（information） 编码 信道 译码 噪声 信源 信宿 消息（message）是由图像、声音、文字、数字等符号组成的序列 信号（signal）是承载消息的载体，如电信号、光信号等 * Model of Digita Communication Source Coding Compresses the data to remove redundancy Channel Coding Adds redundancy/structure to protect against channel errors * 香农第一定理：信源发出的消息有冗余，为有效通信，可以进行压缩冗余的信源编码，给出无失真复现消息的信源编码临界值（下界）——信息熵。 香农第二定理：噪声的存在使信道能可靠传输信息的能力受到限制，提出信道容量的概念。为可靠通信，增加冗余纠错的信道编码，给出无失真复现消息的信道编码的临界值（上界）——信道容量 香农第三定理：给出在允许一定的失真条