信息论基础理论与应用第三版(傅祖芸)第5章讲义试卷.ppt

信息通过信道传输到信宿的过程。要做到既不失真又快速地通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又使得信息传输率最大. 最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。 研究方法 研究信源编码时，将信道编码与译码看成是信道的一部分，从而突出信源编码； 研究信道编码时，将信源编码与译码看成是信源与信宿的一部分，从而突出信道编码。 [例] 设信源S的概率空间为： 信源S的二次扩展信源： 例：设二进制码树中S=(s1 , s2 , s3 , s4), L1=1, L2=2,L3=2,L4=3,应用Kraft不等式,得： 编码举例 （即时码，编码方式不同） 都为即时码，但编码方式不唯一 编码举例（多元即时码） 译码方法 因为每一码元对应于一个的树图分枝路径，则即时码的树图可以用来译码。译码器系统对一串符号序列译码过程： 1）首先从树根出发，根据接收的第一个码元符号来选择应走的第一条路径； 2）若沿着所选路径走到某中间节点，再根据接收的第二个码元符号来选择第二条路经； 3）若又走到中间节点，再依次继续选择路径，直到终端节点为止。这时，可根据所经历的枝路，判断出所接收的码字。 4）重新返回树根，再作下一个接收码字的判断。 这样，便可将接收到的一串码符号序列译成信源符号序列。 3、克拉夫特（Kraft）不等式 定理 对于码符号为 的任意r元即时码 ，若所对应的码长 ， 则必定满足： 反之，若码长满足上式，则一定存在这样的即时码 。 *可以证明，对于唯一可译码也须满足Kraft不等式。 这说明，其他唯一可译码并不比即时码占优。 而即时码很容易用树图法构造，所以在讨论唯一可译码时，只需要讨论即时码就可以了。 定理 若存在一个码长为 的唯一可译码，则一定存在一个同样长度的即时码。 不存在满足这种Li的唯一可译码 如果将各码字长度改成L1=1,L2=2,L3=3,L4=3,则 存在满足这种Li唯一可译码 0 0 0 1 1 0 10 110 11 码树 111 0 0 0 1 1 0 10 110 设信源 编码后的码字为： 码长为： 码的平均长度（平均码长）为： 5.6 变长信源编码定理 （码符号/信源符号） 码的平均长度 信息传输率（码率）： 平均每个码元携带的信息量，即编码后信道的信息传输率： （比特/码符号） 若信道传输一个码符号平均需要t秒钟，则编码后信道的每秒传输的信息量为： （比特/秒） 由此可见： 平均码长越短，信息传输效率越高。 紧致码（最佳码） 对于某一信源和某一个码符号集合，若有一个唯一可译码，它的平均码长小于其他唯一可译码的长度。 无失真信源编码的基本问题就是寻找紧致码。 定理 若对一熵为H(S)的离散无记忆信源 S 进行r 元编码，则总是可以找到一种无失真编码方法构成唯一可译码，使其平均码长满足： 说明： 下界：平均码长不能小于极限H(s)/logr,否则唯一可译码不存在。 上界：给出了平均码长的上界。但并不是说大于这个上界就不能构成唯一可译码。而是说在上界范围内，可找到唯一可译码。 证明： 1.下界证明： 詹森不等式 因总可找到一种唯一可译码，其码长满足Craft不等式，所以 则证得： 由Craft不等式，此等式成立的充要条件： 即： 可见，只有当能够选择每个码长满足上述等式时候，平均码长才能够达到这个下界值。 由于li 必须为正整数，所以 也必须为正整数。 那么，当该等式成立时，每个信源符号的概率分布必须呈现如下形式： 如果这个条件满足，则只要选择： 根据这些码长，按照树图法构造出一种唯一可译码，所得的码一定是紧致码。 2.上界证明：只需证明存在一种唯一可译码满足 即可。令 则，选取每个码字的长度的原则是： 显然知 即为Craf