(信息论、编码及应用)第5章无失真信源编码和有噪信道编码简介.pptx

第5章无失真信源编码和有噪信道编码简介;通信的根本任务，是有效而可靠地传输信息。要达到这个目的，一般要通过信源编码和信道编码来完成，如图5-1所示。信源编码的主要作用是用信道能传输的符号来代表信源发出的消息，使信源适合于信道的传输。并且，在不失真或允许一定失真的条件下，用尽可能少的符号来传送信源消息，提高信息传输率。信道编码的作用主要是在信道受到干扰的情况下，增加信号的抗干扰能力，同时又保持尽可能大的信息传输率。一般而言，提高抗干扰能力往往是以降低信息传输率为代价的，反之，要提高信息传输率又常常会使得抗干扰能力减弱，二者是有矛盾的，不可兼得。然而，在信息论的编码定理中，理论上证明了至少存在某种最佳的编码或信息处理方法，使之达到最优化。这些结论对各种通信系统的设计具有重大的理论意义和应用价值。;;5.1单义可译定理

在实际信道中，首先遇到这样一个问题：设原始信源S发出q种不同的符号，其符号集为S：{s1，s2，…，sq}。传输信息的信道{XP(Y|X)Y}的输入符号集为X：{a1，a2，…，ar}。这样信源发出的符号si(i=1，2，…，q)与信道能传输的符号ai(i=1，2，…，r)不一致，即信源S：{s1，s2，…，sq}不适合于信道{XP(Y|X)Y}直接传输，信源S发出的符号不能直接通过信道，也就无法进行传输了。怎样来解决这个问题呢？为此，我们引入“信源编码”问题。显然，为了使信源S发出q种不同的符号都能通过输入符号集为X：{a1，a2，…，ar}的信道，在信道输入端前，必须用信道能传输的符号集X：{a1，a2，…，ar}中的符号ai(i=1，2，…，r)对信源中的每一种不同的符号si(i=1，2，…，q)编码，生成适合信道传输的符号序列W：{W1，W2，…，Wq}，以上这个过程就是信源编码。图5-2表示了具有上述功能的信源编码器。图中符号集X：{a1，a2，…，ar}称为码符号集，Wi(i=1，2，…，q}称为码字。;;定义5-1一个码字如果同时满足以下两个条件，则称该码为单义可译码，否则就不是单义可译码：(1)该码的每一个码字与信源的每一种不同的符号si(i=1，2，…，q)是一一对应的；(2)该码的码字序列W1，W2，…Wi??…与信源的符号序列s1，s2，…si，…是一一对应的。

对于码1，它不满足单义可译码定义中的第一条，显然它不是单义可译的，我们将不满足单义可译码第一条的码称为奇异码。显然，奇异码不能用作编码的码字。;对于码2，它虽然是非奇异码，但它也不是单义可译码。因为要判断一个码是否为单义可译码，不仅要看它的每一个码字与信源的每一种不同的符号si(i=1，2，…，q)是否一一对应，而且要看它的码字序列是否与信源的符号序列一一对应，只有这两者都满足一一对应的条件，才属于单义可译码，否则就不是单义可译码，可以看出码2不满足单义可译码中的第二条。例如，我们收到一个码字序列01000，既可以翻译成s4s3s1，也可以翻译成s1s2s3等，所以它不是单义可译码。

对于码3，它是我们十分熟悉的二进制编码的等长码，假设等长码Wi(i=1，2，…，q)的长度均为n，编码时只需满足不等式q≤rn，则Wi(i=1，2，…，q)一定是单义可译码。;对于码4，它显然不是奇异码，并且每种不同的码序列唯一对应一种信源符号序列，因而它是单义可译码。

对于码5，它同样不是奇异码，并且每种不同的码序列唯一对应一种信源符号序列，因此它也是单义可译码。此外，对于码5，如果将“0”和“1”互换，得到码5的另一种形式“W1：0，W2：10，W3：110，W4：1110”。

这两种形式在本质上是相同的，因此，我们只需以表5-1中的码5为例加以分析和讨论即可。;需要特别强调的是，虽然码4和码5都是单义可译码，但它们之间存在着一个重要的差别。我们先看码4，当收到一个或几个码符号后，不能即时判断码字是否已经终结，必须等待下一个或几个码符号收到后才能做出判断。例如，当已经收到两个码符号“10”时，我们不能判断码字是否终结，必须进一步等待下一个码符号到达后才能决定。如果下一个码符号是“1”，则表示前面已经收到的码符号序列“10”为一个完整的码字；如果仍然收到0，则无法判断是否终结。因此，码4无法即时地进行译码，所以它不是即时码。;对于码5，由于所有码字都以“1”为结束符，因此，只要出现“1”，就知道当前的码字已结束，从而可立即把收到的码字译成对应的信源符号。可见码字中的终结符号“1”起到了“逗点”的作用，故这种码又称为逗点码。这种译码时无需参考后续的码符号就能立即做出译码判断的一类码，称为即时码。当然，我们在编码中总是希望能编出这种即时码。同理，对于码5的另一种形式