第6章 连续信源与连续信道.ppt

* 电子科技大学 * 第6章 连续信源与连续信道 信源分为离散信源和连续信源，在讨论了离散信源整体测度的基础上，本章讨论的第一个问题是： 从连续信源的整体出发，它的信息量应该如何度量？ 信道也分为离散信道和连续信道，在讨论了离散信道中流通信息量的整体测度及能达到的最大值的基础上，本章讨论的第二个问题是： 从整体的角度，如何度量在连续信道中流通的信息量？该信息量能达到的最大值是多少？ 并满足 式中，p(x)为消息变量的概率密度函数。 假定概率密度函数p(x)如图所示 1、时不变连续信源的数学模型 2、时不变连续信源的熵 一、连续信源及其相对熵 消息变量落在第i个小区的概率为 p(x) x b a a+(i-1)△ a+i△ 根据中值定理，有 (1)连续信源的绝对熵 定义连续信源的相对熵 相对熵不能反映连续信源的平均不确定度。 定义相对熵的目的： ①在形式上与离散信源熵统一； ②熵差具有信息测度的意义。 (2)连续信源的相对熵 同理，可以定义其它相对熵： 两个连续消息变量的条件熵 两个连续消息变量的联合熵 (1)均匀分布连续信源的相对熵 3、几种连续信源的相对熵 (2)高斯分布连续信源的相对熵 (3)指数分布连续信源的相对熵 ①相对熵不具有非负性 例如，当b-a1时，均匀分布连续信源的相对熵 ②相对熵的可加性 4、相对熵的性质及最大相对熵定理 可直接由定义证明： ③最大相对熵定理 连续信源没有一般意义下的最大熵，只有限制条件下的最大熵。 通常讨论三种限制条件下的最大熵： 取值范围受限 平均功率受限 均值受限 如果消息变量取值被限定在一定范围内，则在该有限定义域内均匀分布的连续信源具有最大熵，即 取值范围受限条件下的最大熵定理 可利用不等式ln z≤z-1进行证明 设p(x)是定义域(a,b)上除均匀分布以外的任何概率密度函数，且 平均功率受限条件下的最大熵定理 如果消息变量的平均功率被限定，则均值为零、方差为该平均功率的高斯分布的连续信源具有最大熵，即 设p(x)是除高斯分布以外的任何概率密度函数，且 如果非负消息变量的均值被限定，则均值为该限定值的指数分布的连续信源具有最大熵，即 均值受限条件下的最大熵定理 设p(x)是除指数分布以外的任何概率密度函数，且 二、连续信道及信道容量 1、时不变连续信道的数学模型 时不变连续信道的数学模型可表示为 其中X为时不变连续信源，X为时不变连续信宿，信道统计特性用信道转移概率密度函数p(y/x)表示。 2、平均互信息量 与单符号离散信道相仿，可以定义X对Y的平均互信息量为 同理，也可以定义Y对X的平均互信息量为 虽然相对熵不具有信息测度的意义，但平均互信息量是一种熵差，具有信息测度的意义。 ①平均互信息量具有非负性 可由定义并利用不等式ln z≤z-1证明 平均互信息量的性质和定理 ②平均互信息量具有对称性 同理可证 ③平均互信息量具有凸函数性 当信道固定时，Ic(Y;X)是信源概率密度函数p(x)的上凸函数； 当信源固定时，Ic(Y;X)是信道转移概率密度函数p(y/x)的下凸函数。 ④数据处理定理 3、时不变连续信道的信道容量 与单符号离散信道相仿，也可以将平均互信息量Ic(X;Y)理解为时不变连续信道的信息传输率R，即 由平均互信息量Ic(X;Y) 的凸函数性—信道固定时，平均互信息量是信源概率密度函数p(x)的上凸函数可知： 信道固定时，总能找到一种信源概率密度函数，使信道的信息传输率最大，称该最大值为信道容量，即 连续信道信道容量求取相当困难。 * 电子科技大学