信息论与编码复期末考试要点.pptVIP

* 稳态分布概率 八、连续信源的熵和互信息 * 相对熵/连续熵 * 限峰功率的最大相对熵定理 对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。 随机变量X幅度取值限制在[a,b]，当 信源达到最大熵。 * 限平均功率最大相对熵定理 对于相关矩阵一定的随机矢量X，当它是正态分布(高斯分布)时具有最大相对熵。 即随机变量X的概率密度分布为 信源熵最大。 奈特/样值 信道与信道容量 第三章 * 熟练掌握信道容量的相关概念 信道分类（有记忆和无记忆信道）、信道容量、信源与信道匹配 熟练计算信道容量以及达到信道容量时对应的输入概率分布 重点：无干扰离散信道、对称DMC（离散无记忆）信道 、准对称信道 习题5、6 * 信道容量 信道容量C： 最大的信息传输率 * 1、无干扰离散信道 设信道的输入X∈A={a1 … an},输出Y∈B={b1 … bm} 1）无嗓无损信道 输入和输出符号之间有确定的一一对应关系 * 2）无嗓有损信道 多个输入变成一个输出(n＞m) 噪声熵H(Y|X) ＝ 0 损失熵H(X|Y) ≠ 0 * 3）有嗓无损信道 一个输入对应多个输出(n＜m) 接收到符号Y后,对发送的X符号是完全确定的。 噪声熵H(Y|X) ≠ 0 损失熵H(X|Y) = 0 * 2、对称DMC信道 对称离散信道：