北京大学2010年度信息论与编码课程讲义2010CHP3.pdfVIP

2010-3-11 目录  引言  无失真信源编码定理  非等长信源编码  一种实用编码方法:LZ编码 2 2010-3-11 3.1 引 言  信源分类 信源编码模型 无失真信源编码 3 2010-3-11 3.1.1 信源分类 根据信源输出在时间上是否连续，以及取值是否连续， 可分为： 离散信源 非离散信源 按信源的记忆特性，离散信源又分为： 离散无记忆信源 离散有记忆信源 4 2010-3-11 3.1.2 信源编码模型 码字 码字 例：四个不同的信源符号可表示为： {000，011 ，110，101} 等长编码 {01，011 ，0111 ，01111} 非等长编码 5 2010-3-11 3.1.3 无失真信源编码 唯一可译码 每个信源符号、符号串都至少有一个码字与之对应; 不同的信源符号、符号串对应不同的码字; 非等长编码能自动识别一个码字的结束。 唯一可译码在无扰信道中传输时，其译码错误概率 为0 ，故称为无失真编码。 6 2010-3-11 目录  引言  无失真信源编码定理  非等长信源编码 一种实用编码方法:LZ编码 7 2010-3-11 3.2 无失真信源编码定理 引理3.1 ：Chebyshev Inequality 引理3.2 ：离散无记忆信源的渐近均衡性 定理3.1 ：无失真信源编码定理 8 2010-3-11 3.2.1 Chebyshev Inequality 2  引理3.1: (a) 随机变量x , 均值m , 方差 , 2 则 P x m    r 2  其中0. m- m m+ 9 2010-3-11 3.2.1 Chebyshev Inequality