10第五章1-信息论.pptVIP

习题1 若有一信源 每秒钟发出2.66个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 (2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。 习题1 习题1 习题2 设一个四元对称信源 接收符号为V={0,1,2,3},其失真矩阵为 求Dmax,Dmin及信源的R(D)函数. 习题2 习题3 设离散无记忆信源 其失真度为汉明失真度。 (1)求Dmin,R(Dmin),并写出相应试验信道的信道矩阵 (2)求Dmax,R(Dmax),并写出相应试验信道的信道矩阵 (3)若允许平均失真度D=1/3,试问信源的每一个信源符号平均最少由几个二进制码符号表示？ 信息通过信道传输到信宿的过程即为通信。要做到既不失真又快速地通信，需要解决两个问题： 在不失真或允许一定失真条件下，如何提高信息传输速度----这是本章要讨论的信源编码问题. 在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大----这是下章要讨论的信道编码问题. 信源编码的基本途径有两个: 一是编码后使序列中的各个符号之间尽可能地互相独立，即解除相关性----方法包括预测编码和变换编码. 二是使编码后各个符号出现的概率尽可能相等，即均匀化分布----方法主要是统计编码. 5.1 编码器及相关概念 为了分析方便和突出问题的重点，当研究信源编码时，我们把信道编码和译码看成是信道的一部分，从而突出信源编码。同样，在研究信道编码时，可以将信源编码和译码看成是信源和信宿的一部分，从而突出信道编码。 5.1.2 码树 对于r进制的码树，其中图(a)为二元码树，图(b)为三元码树。在码树中R点是树根，从树根伸出r个树枝，构成r元码树。树枝的尽头是节点，一般中间节点会伸出树枝，不伸出树枝的节点为终端节点，编码时应尽量在终端节点安排码字。 码树中自树根经过一个分枝到达一阶节点，一阶节点最多为r个，二阶节点的可能个数为r2个，n阶节点最多有rn个，若将从每个节点发出的r个分枝分别标以0，1，…，r-1，则每个n阶节点需要用n个r元数字表示。 如果指定某个n阶节点为终端节点，用于表示一个信源符号，则该节点就不再延伸，相应的码字即为从树根到此端点的分枝标号序列，该序列长度为n，用这种方法构造的码满足即时码的条件，因为从树根到每一个终端节点所走的路径均不相同，所以一定满足对即时码前缀的限制。如果有个q信源符号，那么在码树上就要选择q个终端节点，用相应r元基本符号表示这些码字。 若树码的各个分支都延伸到最后一级端点，此时将共有rn个码字，这样的码树称为整树，如图(a)所示。否则就称为非整树，如图(b)所示，这时的码字就不是等长码了。 因此，码树与码之间具有如下一一对应的关系： 树根??码字起点； 树枝数??码的进制数； 节点??码字或码字的一部分； 终端节点??码字； 阶数??码长； 非整树??变长码； 整树??等长码。 5.1.3 Kraft不等式 利用码树可以判断给定的码是否为惟一可译码，但需要画出码树。 在实际中，我们可以利用克拉夫特（Kraft）不等式，直接根据各码字的长度来判断惟一可译码是否存在，即各码字的长度应符合克拉夫特不等式： 式中，r为进制数也即码符号的个数，q为信源符号数。 例 一个码C包含4个码字：{1,01,000,001}, 试用码树来表示 5.2 采用二进制码树 解： R 1 0 0 0 1 1 （1） （01） （001） （000） 一些结论 非奇异码字总能与码树建立一一对应的关系 在码树中，n阶节点的个数最多为 例：2进码树中，r阶节点数目最多为 表示码字的集合 研究唯一可译码的判别 表示码的构成 1 例 一个码C包含4个码字：{1,01,000,001}, 试用码树来表示 5.2 采用二进制码树 解： R 1 0 0 0 1 1 （1） （01） （001） （000） 一些结论 非奇异码字总能与码树建立一一对应的关系 在码树中，n阶节点的个数最多为 例：2进码树中，r阶节点数目最多为 Kraft不等式是惟一可译码存在的充要条件 其必要性表现在如果码是惟一可译码，则必定满足Kraft不等式 充分性表现在如果满足Kraft不等式，则这种码长的惟一可译码一定存在 但并不表示所有满足Kraft不等式的码一定是惟一可译码。 * * * * * 某二元信源 ，其失真矩阵定义为 ，求该信源的Dmax，Dmin和R(D)函数。 第五章 信源编码 一般来说，抗干扰能力与信息传输率