第6章 连续信源与连续信道 信息论 教学课件.ppt

第6章 连续信源与连续信道 掌握时不变连续信源相对熵的定义及其意义，相对熵的计算和性质； 掌握连续系统平均互信息量的的定义、计算和性质； 掌握加性信道的特点，高斯加性信道最大信息传输速率计算式（香农公式）的导出、意义和计算。 * 连续信源与连续信道 * 2010年3月 信息论导论 通信与信息工程学院 杨海芬 一、连续信源及其相对熵 1、时不变连续信源 定义 如果任何时刻信源发出的消息都是单一符号，而这些符号的取值是连续的，则该信源为时不变连续信源。 表示 信源符号X取值于集合[a , b] 式中，p(x)为连续消息的概率密度函数 例1 例2 假定概率密度函数p(x)如图所示 2、时不变连续信源的熵 连续消息落在第i个区域的概率为 根据中值定理，有 p(x) x b a a+(i-1)Δx a+iΔx ①绝对熵 相对熵不能作为连续信源的信息度量。 定义相对熵的目的： ②相对熵 表示 与离散信源的熵在形式上统一 熵差具有信息度量的意义 ①均匀分布信源的相对熵 3、几种连续信源的相对熵 ②高斯分布信源的相对熵 ③指数分布信源的相对熵 ①不具有非负性 例如，当b-a1时，均匀分布信源的相对熵 ② 严格上凸性 4、相对熵的主要性质 5、最大相对熵定理 连续信源没有一般意义下的最大相对熵，只有限制条件下的最大相对熵。 通常讨论三种限制条件： 取值范围受限 平均功率受限 均值受限 如果连续消息取值范围被限定在[a,b]，该限定域内的均匀分布信源具有最大相对熵，该最大相对熵Hc(X)max=log(b-a) ①取值范围受限下的最大相对熵定理 设p(x)是限定域[a,b]内的任何概率密度函数 ②平均功率受限下的最大相对熵定理 如果连续消息的平均功率被限定为P，均值为零、方差为该平均功率的高斯分布信源具有最大相对熵，该最大相对熵Hc(X)max=log(2πeP)/2 设p(x)是任何概率密度函数，且 如果非负连续消息的均值被限定为m，均值为该限定值的指数分布信源具有最大相对熵，该最大相对熵Hc(X)max=log(em) ③均值受限下的最大相对熵定理 设p(x)是非负域的任何概率密度函数，且 二、连续信道及信道容量 1、时不变连续信道 定义 对应于时不变连续信源和时不变连续信宿的信道为时不变连续信道。 表示 信源符号X取值于集合[a , b] 信宿符号Y取值于集合[c , d] 2、时不变连续信道的噪声熵 X p(y/x) Y p(y/x)为信道转移概率密度函数 ①绝对噪声熵 ②相对噪声熵 表示 3、平均互信息量 虽然相对熵不能作为信息度量，但平均互信息量是熵差，具有信息度量的意义。 ① 非负性 4、平均互信息量的主要性质 ② 对称性 ③ 严格凸函数性 5、信道容量与最大信息传输速率 信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x) ，使通过信道的平均互信息量达到最大。 信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数 信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数 定义 信道转移概率密度函数p(y/x)不变时平均互信息量的最大值为该信道的信道容量，用C表示。 表示 连续信道一般考虑信道在单位时间内平均互信息量的最大值。