信息论与码第四章.pptVIP

高传输率与抗干扰是一对矛盾 ，但可以从理论上证明，至少存在某种最佳的编码或信息处理方法，能解决这一矛盾。 §4.1 编码器变换 （数学规则）：将信源符号用由码元组成的序列（长度为li）来表示若通过一个二进制信道进行传输，为使信源适合信道的传输，将用0,1符号序列表示，码符号集为 ，序列与si的对应形式可有多种，得不同的码。 第四章 无失真信源编码 码的基本分类： 固定长度码（等长码） 变长码：各码字的码长不等 非奇异码：码中所有码字都不相同 奇异码：有同码 码的N次扩展： 码2的二次扩展码为： 同价码：每个码符号（元）所占的传输时间都相同 §4.2 等长码和等长信源编码定理 等长编码条件： ，满足此条件，才有可能无重码（非奇异）；扩展后： 由切贝雪夫不等式： ⑴ 方差为定值 表明 依概率收敛于 ⑵ ⑶ ⑷ ⑸ ⑹ ⑺ 上界 ⑻ ⑼ 下界 ⑽ 我们可以只对集G中MG个信源序列进行一一对应的等长编码，这就要求码字总数不小于MG就行，即 ⑾ ⑿ 满足式⑾的条件下， 时，译码错误概率 但当 ⒀ 由MG的下界式⑽可知，这种情况下选取的码字总数小于集G中可能有的信源序列数，将有相应码字对应的信源序列的概率和记作 ，它必然满足： ⒁ ⒂ 造成有些序列没有码字对应，译码时必出错，其中正确的译码概率： ⒃ 等长信源编码定理 一个熵为H（S）的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从r个字母的码符号集中选取 l 个字母组成，对于任意 ，只要满足 ，当 时，几乎可实现无失真编码，即译码错误概率能为任意小。 反之，若 ，则不可能实现无失真编码， 时， 。 ⑾可改写： ⒄ 只要码字载荷的信息量大于信源序列携带的信息量，总可实现几乎无失真编码，而且传输效率接近于1 例： 0