第5章无失真信源编码定理.pptVIP

信息论课件通信与信息基础教学部信息论课件通信与信息基础教学部第5章无失真信源编码定理*第1页，共36页，星期日，2025年，2月5日第5章无失真信源编码5.1编码器5.2等长码5.3渐进等分割性和e典型序列*5.4等长信源编码定理5.5变长码5.6变长信源编码定理*第2页，共36页，星期日，2025年，2月5日5.1编码器对整个通信系统来说，要解决两个问题：信源编码和信道编码。?对信源来说有两个重要问题：一个是信源输出信息量的定量度量问题。这在前面信源及其信息熵章中已讨论。本章将要讨论第二个问题：如何有效地表示信源输出问题。即将重点讨论对信源进行无失真信源编码的要求、方法及理论极限，从而得出香农第一定理。*第3页，共36页，星期日，2025年，2月5日编码器的描述码元码字码码长l码符号集*第4页，共36页，星期日，2025年，2月5日信源编码器的主要任务：完成输入消息集合与输出代码集合之间的映射。若要实现无失真编码，则这种映射必须是一一对应的、可逆的。*第5页，共36页，星期日，2025年，2月5日常用码型1、二元码：若信道码符号集A={0，1}，编码输出的码字都是二元码，称为二元码。2、等长码：若一组码中所有码字的码长都相同，称为等长码。3、变长码：若一组码中所有码字的码长Ki各不相同，即任意码字由不同长度的码符号序列组成，则称为变长码。*第6页，共36页，星期日，2025年，2月5日常用码型4、非奇异码和奇异码：若一组分组码中的所有码字都不相同，即所有信源符号映射到不同的码字。称此分组码为非奇异码。否则为奇异码5、同价码和非同价码：若每个码符号的传输时间都相同则称为同价码。否则为非同价码*第7页，共36页，星期日，2025年，2月5日常用码型6、码的N次扩展码：假使某分组码W，把信源X中的符号xi一一变换成码W中的码字Wi字，则码W的N次扩展码是N个码字组成的码字序列的集合。?*第8页，共36页，星期日，2025年，2月5日例：设信源X的概率空间为若把该信源通过一个二元信道进行传输，为适合信道传输，就必须把信源符号xi变换成0、1符号组成的码序列（二元序列）。可采用不同的二元序列使其与信源符号si一一对应，所以可有多种方法得到二元码。如表4.1所示*第9页，共36页，星期日，2025年，2月5日表5.1信源X的两种不同编码码字现求码S2的二次扩展码。*第10页，共36页，星期日，2025年，2月5日常用码型7、唯一可译码：若码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列，则此码为唯一可译码。否则，称为非唯一可译码。唯一可译码的物理含义：不仅要求不同的码字表示不同的信源符号，而且还进一步要求对由信源符号构成的信息序列进行编码时，在接收端仍能正确译码，而不发生混淆。本章主要研究的是同价唯一可译码。*第11页，共36页，星期日，2025年，2月5日5.2定长码一般来说，若要实现无失真的编码，所编的码必须是唯一可译码，否则，就会因译码带来的错误与失真。非奇异定长码的N次扩展码一定也是非奇异定长码。非奇异定长码一定是唯一可译码。*第12页，共36页，星期日，2025年，2月5日信源存在唯一可译定长码的条件：对信源X进行等长编码，必须满足其中l是等长码的码长,有例：英文电报有32个符号，即n=32。若对它进行二元编码，则r=2，可得l=5。也就是说，每个英文电报符号至少要用5位二元符号编码才行。*第13页，共36页，星期日，2025年，2月5日实际英文电报符号信源，在考虑了符号出现的概率以及符号之间的依赖性后，其信息熵约为1.4比特/符号，即平均每个英文符号所提供的信息量为1.4比特。因此等长编码后5个二元符号只携带约1.4比特信息量。对于无噪无损二元信道，每5个二元符号最大能载荷5比特的信息量。因此，如此等长编码的信息传输效率极低。*第14页，共36页，星期日，2025年，2月5日5.4等长信源编码定理定理4.3一个熵为H(X)的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从r个字母的码符号集中选取l个码元组成。对于任意?0，只要满足则当N足够大时，可实现几乎无失真编码，即译码错误概率能为任意小。*第15页，共36页，星期日，2025年，2月5日编码信息率编码效率举