信息论基础 课件 第4章 连续信源的相对熵.ppt

3. 均值受限（取值非负）： 指数分布相对熵最大 1. 对于峰值功率受限的连续信源，均匀分布的相对熵最大；2. 对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率密度函数为高斯分布时，具有最大熵；3. 对于均值受限的连续信源，指数分布输出相对熵最大。 结论：（最大熵定理） 熵功率 平均功率受限（m=0)： 熵功率 4.4 连续熵的变换 信 源 信息处理 网络 信 道 X Y 解： 4.5 连续信道 1 连续信道的分类： 按噪声统计特性分类 高斯信道：若信道的噪声是高斯噪声，即噪声是平稳随机过程，其瞬时值的概率密度函数服从正态分布（高斯分布），则此信道称为高斯信道。 白噪声信道：若信道的噪声是白噪声，即噪声是平稳随机过程，其功率谱密度均匀分布于整个频域，则此信道称为白噪声信道。 高斯白噪声信道：若信道的噪声是高斯分布的白噪声，则此信道称为高斯白噪声信道。 按噪声对信号的作用功能分类 乘性信道：信道中噪声对信号的作用表现为与信号相乘的关系。 加性信道：信道中噪声对信号的作用表现为与信号相加的关系。 根据时间取样定理，把波形信道的输入{x(t)}和输出{y(t)}的平稳随机过程信号离散化成(=2FT)个时间离散、取值连续的平稳随机序列X=X1X2…XN和Y=Y1Y2…YN。这样，波形信道就转化为多维连续信道。 基本连续信道： 输入和输出都是单个连续型随机变量的信道。即单符号连续信道，其输入是连续型随机变量X，X取值于[a,b]或实数域R；输出也是连续型随机变量Y，取值于[a’,b’]或实数域R；信道的传递概率密度函数为p(y/x)，并满足 因此，可用[X,p(y/x),Y]来描述单符号连续信道。 多维连续信道： 输入是N维连续型随机序列X=X1X2…XN，输出也是N维连续型随机序列Y=Y1Y2…YN，而信道传递概率密度函数是 p(y/x)=p(y1y2…yn/x1x2…xn) 并且满足 用[X,P(y/x),Y]来描述多维连续信道。 2 连续信道的信息传输率 连续信道的平均互信息 单符号连续信道的平均互信息 连续信道[X,P(y/x),Y]的平均互信息 I(X;Y)= ＝h(X)－h(X/Y) = ＝h(Y)－h(Y/X) = =h(X)+ h(Y)－h(XY) 单符号连续信道的信息传输率：R=I(X;Y)（ 比特/自由度） * 第4章 连续信源与连续信道 * 4.1 连续信源你的相对熵 连续信源：用连续随机变量描述输出消息的信源。 数学模型： 一 相对熵的定义 Hc(X)：信息熵 分层量化 连续 离散 利用离散信源熵的概念来定义连续信源熵，如图表示[a,b]区间的连续随机变量。 首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为: Δ=(b-a)/n。根据概率密度函数曲线的区间面积关系，X取值为xi的概率为: Pi=p(xi) Δ 得到离散信源Xn的信源空间为: [Xn,P] Xn: x1 x2 … xn P(Xn): p(x1) Δ p(x2) Δ … p(xn) Δ 相对熵：h(X) 确定值部分 无限大常数项 称为连续信源的熵。 二 几种连续信源的相对熵 1. 均匀分布： 相对熵无非负性，可为负值 2. 高斯分布： 与方差有关，与均值无关 当均值m=0，即方差表示平均功率时： 相对熵只与平均功率有关 3. 指数分布： 指数分布的相对熵只取决于信源的均值a 小结 * 1.连续信源的相对熵的定义： 2.几种连续信源的相对熵： 均匀分布、高斯分布、指数分布 4.2 几种单维连续信源的相对熵 1. 均匀分布： 相对熵无非负性，可为负值 2. 高斯分布： 与方差有关，与均值无关 当均值m=0，即方差表示平均功率时： 相对熵只与平均功率有关 3. 指数分布： 指数分布的相对熵只取决于信源的均值a 4.3 最大相对熵定理 极值性、上凸性 相对熵具有极大值 一维连续信源X的相对熵h(X)的最大值，是概率 密度函数p(x)的函数h(X)的条件极大值。 考虑： 则： 1. 峰值功率受限（取值区间受限）：