信息论与编码复习期末考试要点.ppt

* 稳态分布概率 八、连续信源的熵和互信息 * 相对熵/连续熵 * 限峰功率的最大相对熵定理 对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。 随机变量X幅度取值限制在[a,b]，当 信源达到最大熵。 * 限平均功率最大相对熵定理 对于相关矩阵一定的随机矢量X，当它是正态分布(高斯分布)时具有最大相对熵。 即随机变量X的概率密度分布为 信源熵最大。 奈特/样值 信道与信道容量 第三章 * 熟练掌握信道容量的相关概念 信道分类（有记忆和无记忆信道）、信道容量、信源与信道匹配 熟练计算信道容量以及达到信道容量时对应的输入概率分布 重点：无干扰离散信道、对称DMC（离散无记忆）信道 、准对称信道 习题5、6 * 信道容量 信道容量C： 最大的信息传输率 * 1、无干扰离散信道 设信道的输入X∈A={a1 … an},输出Y∈B={b1 … bm} 1）无嗓无损信道 输入和输出符号之间有确定的一一对应关系 * 2）无嗓有损信道 多个输入变成一个输出(n＞m) 噪声熵H(Y|X) ＝ 0 损失熵H(X|Y) ≠ 0 * 3）有嗓无损信道 一个输入对应多个输出(n＜m) 接收到符号Y后,对发送的X符号是完全确定的。 噪声熵H(Y|X) ≠ 0 损失熵H(X|Y) = 0 * 2、对称DMC信道 对称离散信道： 对称性: 每一行都是由同一集{q1, q2,…qm}的诸元素不同排列组成——输入对称 每一列都是由{p1, p2,…pn}集的诸元素不同排列组成——输出对称 由输入对称推出 由输出对称推出最佳的输入分布以及信道容量具体表达式 * 对称DMC信道的容量（最佳输入为等概率分布）： 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1, p2,…pm }和输出符号集的个数m有关。 强对称信道的信道容量： * 3、准对称DMC信道 准对称信道 转移概率矩阵P是输入对称而输出不对称 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。 它们满定对称性,所以P1所对应的信道为准对称信道。 * 准对称信道的信道容量 当输入分布为等概率时： 其中n是输入符号集的个数,(p1, p2,…pm)为准对称信道矩阵中的行元素。 设矩阵可划分成r个互不相交的子集。 Nk是第k个子矩阵Pk中行元素之和, Mk是第k个子矩阵Pk中列元素之和。 * 例：设信道传递矩阵为 计算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4 将它分成 信息率失真函数 第4章 * 1、概念、定义：失真函数、平均失真、允许失真度、试验信道 2、信息率失真函数（注意与信道容量的比较 ) 3、信息率失真函数的定义域(即Dmin和Dmax）、R(Dmin)、R(Dmax)及相应的信道转移概率的计算 * 失真函数d(xi,yj)(信号空间中某类“距离” )： 描述了某个信源符号通过传输后失真的大小 平均失真 ： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真 失真矩阵: 1、失真函数和平均失真 * xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示 将失真函数的数学期望称为平均失真： 允许失真D：平均失真的上界 * 2、试验信道 若平均失真度 不大于我们所允许的失真,即 则称此为保真度准则 满足 条件的所有转移概率分布pij ,构成了一个信道集合 称为D失真允许的试验信道：满足保真度准则的试验信道。 * 4、信息率失真函数R(D) R(D)： 在限定失真为D的条件下信源输出的最小信息速率。 * R(D)的定义域 率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。 R(D)=0意味着不需传输任何消息，D越大，直至无穷大都能满足这种情况。 [Dmin Dmax]为R(D)的定义域。（确界） * Dmin 和R(Dmin)的计算 信源的最小平均失真度： 只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。 只有当失真矩阵每一行至少有一个0，每一列至多只有一个0，才能保证R(0) =H(X)。 * Dmax和R(Dmax) 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即 由于I(X,Y) = 0的充要条件是X与Y统计独立,即： * 例4-3: