信息论与编码总复习.ppt

* * 定长编码定理 定长编码定理：由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL，可用KL个符号Y1, Y2,…, Yk,…YKL（每个符号有m种可能值）进行定长编码。 对任意ε0，δ0，只要 则当L足够大时，必可使译码差错小于δ； 反之，当 时，译码差错一定是有限值，而当L足够大时，译码几乎必定出错。 * * 编码效率 差错概率 当信源序列长度L满足 　　时， 就能达到差错率要求。 编码效率 最佳编码效率为 * * 变长编码定理 单个符号变长编码定理 若一离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式 * * 变长编码定理 离散平稳无记忆序列变长编码定理 对于平均符号熵为HL(X)的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率 　满足不等式 其中，ε为任意小正数。 * * 香农编码步骤 将信源消息符号按其概率从大到小排列 确定满足下列不等式的整数码长Ki 令P1=0，计算第i个消息的累加概率 将累加概率Pi变换成二进制数，取小数点后Ki位为该消息的码字 * * 费诺编码方法 费诺编码属于概率匹配编码，不是最佳的编码方法。编码过程如下： 将信源消息符号按其出现的概率依次排列 p(x1)≥ p(x2)≥…≥ p(xn) 按编码进制数将概率分组，使每组概率尽可能接近或相等，并为每一组分配一位码元。如编二进制码就分成两组，编m进制码就分成m组。 将每一分组再按同样原则划分，重复步骤2，直至概率不再可分为止。 信源符号所对应的码字即为费诺码。 * * 哈夫曼编码方法 哈夫曼编码的步骤 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) 取两个概率最小的符号分别配以0和1，并将这两个概率相加作为一个新符号的概率，与未分配码元的符号重新排队。 对重排后的两个概率最小符号重复步骤2的过程。 继续上述过程，直到最后两个符号配以0和1为止。 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。 * * 三种编码的比较 香农码、费诺码、哈夫曼码都考虑了信源的统计特性，经常出现的信源符号对应较短的码字，使信源的平均码长缩短，从而实现对信源的压缩。 香农码有系统的、惟一的编码方法，但在很多情况下编码效率不是很高。 费诺码和哈夫曼码的编码方法都不惟一。 费诺码比较适合于对分组概率相等或接近的信源编码。 哈夫曼码对信源的统计特性没有特殊要求，编码效率比较高，对编码设备的要求也比较简单，因此综合性能优于香农码和费诺码。 * * 限失真信源编码定理 设离散无记忆信源X的信息率失真函数为R(D) 当信息率 R＞R(D)时，只要信源序列长度 L 足够长，一定存在一种编码方法，其译码失真小于或等于 D＋ε，ε为任意小的正数。 反之，若R＜R(D) ，则无论采用什么样的编码方法，其译码失真必大于D。 如果是二元信源，则对于任意小的ε＞0，每一个信源符号的平均码长满足如下公式： * * 第6章　信道编码 重点掌握 差错控制相关的基本概念 差错控制系统分类 检、纠错能力 有扰离散信道编码定理 一般了解 纠错码分类 纠错码的基本思路 * * 与差错控制有关的基本概念 汉明重量（码重）：码字中非0码元的个数，用W表示。对于二进制来说，指码字中码元1的数目。 汉明距离（码距）：两个等长码字之间对应码元不相同的数目，用D表示。 码的最小距离dmin：在某一码集C中，任意两个码字之间汉明距离的最小值称为该码的最小距离，即 最小码距是衡量该码纠错能力的重要依据 * * 与差错控制有关的基本概念 错误图样 在二元无记忆N次扩展信道中，差错的形式也可以用二元序列来描述，称为错误图样。 设发送码字为C=(c1c2…cn)，接收码字为R=(r1r2…rn)，两者的差别为 分组码：每个码字中增加的r 个校验元只由本组的k个信息元产生，与其他信息组的信息元无关。记为(n, k) 卷积码：增加的r个校验元既与本组信息元有关，还与前面L组信息元有关。记为(n, k, L) * * 差错控制系统分类 前向纠错方式（FEC） 自动请求重发方式（ARQ） 混合纠错（HEC） 译码设备不复杂，对突发错误特别有效 实时性好，适用于单工通信 检错、纠错能力强，译码设备复杂，应用广泛 * * 检错与纠错能力 检错与纠错能力 纠错码的检、纠错能力是指能够检测、纠正差错的数目。 检错能力 纠错能力 检、纠错能力 将检错和纠错统一考虑，情况会有所变化。 要增加检错能力，必须抑制纠错能力。 e≤ dmin－1 ed+ec≤ dmin-1 t =INT[(dmin-1