信息论及编码理论基础(第六章).ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 选择什么样的规则使得码字集具有特殊的结构，以简化编码复杂度？ * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 习题课 “译码错误概率”的第二种理解为 * * 复习课 * * 第二章 信息量和熵 熟练掌握各种信息量的定义，会计算各种信息量，会证明各种信息量之间的关系 事件的信息量 非平均互信息量I(xk; yj) 非平均自信息量I(xk)，I(yj) 条件的非平均自信息量I(xk|yj)， I(yj|xk) 联合的非平均自信息量I(xk, yj) * * 相互关系： I(xk; yj)≤min{I(xk)，I(yj)} I(xk|yj)=I(xk)-I(xk; yj) I(xk, yj)=I(yj)+I(xk|yj)=I(xk)+I(yj|xk ) I(xk, yj)=I(xk)+I(yj)-I(xk; yj) 第二章 信息量和熵 * * 符号 图示 表1 X、Y之间有依赖关系时 第二章 信息量和熵 * * 恒等式 I(X; Y)=H(X)-H(X|Y)=H(Y)-H(Y|X) =H(X)+H(Y)-H(XY) 由定义容易看出 第一类不等式 H(X)≤logaK； I(X; Y)≥0； H(XY)≤H(X)+H(Y)； H(X|Y)≤H(X)； H(Y|X)≤H(Y)。 根据引理1和引理2来证明 第二类不等式 I(X; Y)≤min{H(X), H(Y)}； H(XY)≥max{H(X), H(Y)}。 根据概率论的基本事实来证明 独立情形下的等式 I(X; Y)=0，H(X|Y)=H(X)，H(Y|X)=H(Y)，H(XY)=H(X)+H(Y)。 第一类不等式的特殊情形 第二章 信息量和熵 * * 例如：设随机变量X的概率分布为：｛0.2,0.2,0.2,0.1,0.1,0.1,0.1｝，随机变量Y是X的函数，其分布为将X的4个最小的概率分布合并为一个，即随机变量Y的概率分布为：{0.2,0.2,0.2,0.4｝，计算H(X|Y)。 第二章 信息量和熵 * * 例如：一个盒子里装有四种颜色的棋子： 4颗红色的， 10颗黑色的，7颗白色的，9颗黄色的，现从盒子中任取一个棋子，计算取出棋子的颜色的不确定性。 第二章 信息量和熵 * * * * * * 第三章 离散信源无失真编码 熟练掌握离散无记忆源的等长编码与不等长编码方法 等长编码： 渐进无错编码：当RH(U1)时，可以适当地编码和译码使得译码错误的概率pe任意小。 典型序列 * * 渐进无错编码的步骤 ①由U1的概率分布计算 ②取L满足 。 ③取整数N=[R0L]（R0L下取整）。 ④取典型序列集 * * 渐进无错编码的步骤 ⑤将TU(L, ε)中的事件用不同的N长2元码字来表示，而将TU(L, ε)以外的事件用一个固定的N长2元码字来表示，这个固定的N长2元码字已经用来表示了TU(L, ε)中的某个事件。 ⑥译码时，所有的码字均译为它所表示的TU(L, ε)中的事件。 * * 不等长编码方法 Huffman编码 Kraft不等式： 设信源随机变量共有K个事件。则：各码字长度分别为n1、n2、…、nK的D元异字头码存在的充分必要条件是 任一唯一可译的D元不等长码总满足 第三章 离散信源无失真编码 * * 算术编码 LZ编码 会计算平均码长、编码速率和编码效率 第三章 离散信源无失真编码 * * 例如：有一信源的概率分布为 用码字长度分别为｛3,3,3,3,3,3,3,4,4,4｝的二元不等长码对其编码，能否实现？为什么？ 用平均码长不超过1.96的二元不等长码对其编码，能否实现？为什么？ 第三章 离散信源无失真编码 * * 3.6 令离散无记忆信源如上。 (a) 求对U（即U1）的最佳二元码、平均码长和编码效率。 (b) 求对U2 （即U1U2）的最佳二元码、平均码长和编码效率。 (c) 求对U3 （即U1U2U3 ）的最佳二元码、平均码长和编码效率。 * * （U1U2）的最佳二元码 * * （U1U2）的最佳二元码平均码长和编码效率： * * 第四章 信道容量 会计算各种信道的信道容量，能给出最佳的输入分布及转移概率矩阵，包括 离散无记忆信道中的准对称信道、对称信道 组合信道 积信道 和信道 级联信道 * * 定理4.7.1（p133）可加噪声信道输入平均功率不超过S，噪声的双边功率谱密度为N0/2，频带限制在[0, W