信息论与编码(第三章)-160329-讲课.ppt

* 北京工商大学计算机与信息工程学院 信息论与编码 * 4.1.3信息率失真函数 例设信源的符号表为A=｛a1,a2,…,a2n｝,概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为 由信源概率分布可求出信源熵为 设想采用下面的编码方案： 平均失真D为 等效试验信道 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.1.3信息率失真函数 由该信道模型知，它是一个确定信道 由互信息公式可得 I(X;Y)=H(Y)-H(Y/X)=H(Y) 信道输出概率分布为 所以概率分布为 则输出熵H(Y)为 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.1.4信息率失真函数的性质 1.R(D)函数的定义域 R(D)的定义域为D∈［0，Dmax］ 2.R(D)函数的下凸性和连续性 3.R(D)函数的单调递减性 例: R(D)在定义域内是下凸的,连续的。 R(D)的单调递减性可以作如下理解： 容许的失真度越大，所要求的信息率越小。 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.1.4信息率失真函数的性质 得出如下结论： R(D)是非负的实数，即R(D)≥0。其定义域为0～Dmax，其值为0～H(X)。当D＞Dmax时,R(D)≡0。 R(D)是关于D的下凸函数，因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.2离散信源和连续信源的计算 某些特殊情况下R(D)的表示式为： 率失真函数 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.2离散信源和连续信源的计算 例4.2.1设输入输出符号表为X=Y=｛0，1｝，输入概率分布p(x)=｛p，1-p｝，0＜p≤1/2，失真矩阵为 求信息率失真函数R(D). 解:简记 (1) 按下式解方程 解得 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.2离散信源和连续信源的计算 (2) 按下式解方程 解得 (3) 得转移概率分布 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.2离散信源和连续信源的计算 (4) 求s(s=logα) * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.2离散信源和连续信源的计算 (5)计算R(D)，将上面各式代入， 则有 (D)=H(p)-H(D)，p为参数 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.3限失真信源编码定理 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数R(D)，则当信息率R＞R(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+ε，ε为任意小的正数；反之，若R＜R(D)，则无论采用什么样的编码方法，其译码失真必大于D。 如果是二元信源，对于任意小的ε＞0，每一个信源符号的平均码长满足如下公式 在失真限度内使信息率任意接近R(D)的编码方法存在。 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.4常用信源编码方法简介 4.4.1游程编码 游程长度 在二元序列中，只有两种符号，即“0”和“1”，这些符号可连续出现，连“0”这一段称为“0”游程，连“1”这一段称为“1”游程。它们的长度分别称为游程长度L(0)和L(1). 对于多元序列也存在相应的游程序列。例如m元序列中，可有m种游程。连着出现符号ar的游程，其长度L(r)就是“r”游程长度。 设有多元信源序列(x1，x2，…，xm1， y，y，…，y， xm1+1，xm1+2，…xm2， y，y，…其中x是含有信息的代码，取值于m元符号集A，可称为信息位；y是冗余位，它们可为全零，即使未曾传送在收端也能恢复。这样的序列可用下列两个序列来代替： 111，…，100，…，000111，…，111000和 x1，x2，…，xm1，xm1+1， xm1+2，…xm2，…  前一个序列中，用“1”表示信息位，用“0”表示冗余位；后一个序列是取消冗余位后留下的所有信息位。 * 北京工商大学计算机与信息工程学院 信息论与编码 * 4.4.2算术编码 算术编码的基本思路 从全序列出发，将各信源序列的概率映射到［0，1］区间