第5章 无失真信源编码.pptVIP

中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT5.4.2香农-费诺-埃利斯编码将香农编码中的累加概率换成修正累加概率即可得到相应的香农-费诺-埃利斯编码：(1)计算出各个信源符号的修正累加概率(2)按下式计算第i个消息的二元代码组的码长(3)将累加概率(十进制小数)变换成二进制小数．根据码长取小数点后个二进制符号作为第i个消息的码字．第61页，共87页，星期日，2025年，2月5日中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT对信源符号采用定长二元编码，要求编码效率，无记忆信源有，因此可以得到如果要求译码错误概率，则5.2定长码及定长编码定理第29页，共87页，星期日，2025年，2月5日中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT由此可见，在对编码效率和译码错误概率的要求不是十分苛刻的情况下，就需要个信源符号一起进行编码，这对存储和处理技术的要求太高，目前还无法实现。如果用3比特来对上述信源的8个符号进行定长二元编码，N=1，此时可实现译码无差错，但编码效率只有2.55/3=85%。5.2定长码及定长编码定理第30页，共87页，星期日，2025年，2月5日中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT5.2定长码及定长编码定理定长编码的信息传输效率是很低的。提高信息传输效率的方法有：方法1考虑符号之间的依赖关系，对信源S的扩展信源进行编码。方法2对于概率等于0或非常小的符号序列不予编码。因此，一般说来，当N有限时，高传输效率的定长码往往要引入一定的失真和译码错误。解决的办法是可以采用变长编码。第31页，共87页，星期日，2025年，2月5日中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT5.3变长码及变长编码定理5.3.1Kraft不等式和McMillan不等式定理5.3设信源符号集为，码符号集为，对信源进行编码，得到的码为，码长分别为。即时码存在的充要条件是这称为Kraft不等式。由Kraft不等式可知，给定r和q，只要允许码字长度可以足够长，则码长总可以满足Kraft不等式而得到即时码，Kraft不等式指出了即时码的码长必须满足的条件．(5.11)第32页，共87页，星期日，2025年，2月5日中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT5.3.1Kraft不等式和McMillan不等式对于唯一可译码，该不等式又称为McMillan不等式。定理5.4唯一可译码存在的充要条件是r为码符号个数，为码字长度，q为信源符号个数。定理5.4指出了唯一可译码中r、q、之间的关系，如果满足这个不等式的条件，则一定能够构成至少一种唯一可译码，否则，无法构成唯一可译码．它给出了唯一可译变长码的存在性。另外，从定理5.3和定理5.4可以得到一个重要的结论，即任何一个唯一可译码均可用一个相同码长的即时码来代替，因为即时码很容易用树图法构造，因此要构造唯一可译码，只要构造即时码就可以了。(5.12)第33页，共87页，星期日，2025年，2月5日中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT5.3.2唯一可译码的判别准则A.A.Sardinas和G.W.Patterson于1957年提出下述算法用于判断码C的唯一可