信号、噪声与信息论.ppt

第二章 信号、噪声与信息论(3) 本章内容 离散信源和连续信源的统计描述； 离散信源的信息量、条件信息量、互信息量和平均信息量（熵）的定义和物理意义； 连续信源的平均信息量、平均互信息量的定义和物理意义； 有扰信道的信息传输过程； 信道容量的定义，有扰信道的最高信息传输速率； 在掌握上述基本概念基础上，要求熟记香农信道容量公式，理解它的物理意义及其对通信系统研究与发展的指导意义。 通信中要寻求解决的问题 通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题： 1、发送信号的概率如何分布才能的到最大熵？ 2、最大熵是多少？ 香农公式的应用举例 一幅图片拟在模拟电话信道上进行数字传真。该幅图片约有2.55x106个像素，设每个像素有16个亮度等级，且各亮度等级是等概率出现的。模拟电话信道的带宽是3KHz，信噪比为30dB。试求在此模拟电话信道上传输该幅传真图片所需的最小时间。 为表示每个像素的的亮度等级所需的信息量 H=log224=4(bit) 一幅图片需要传输的信息量 H’=2.25x106x4=9x106 设该幅图片的传输时间为T，则图片的信息速率 R= 9x106 /T(bit/s) 模拟电话信道容量 C=Blog2 (1+S/N)=3x103xlog2 (1+1000) =3x103x3.32lg (1+1000)=29.9x103 (bit/s) 因R应小于等于C，取R=C，则可求得该图片最小传输时间 Tmin=(9x106)/(29.9x103 )=0.301x103 (s) 自测题目 （1）信息量的单位是什么？ （2）平均信息量的定义和含义是什么？ （3）由n个符号组成的离散信源，其最大熵是多少 （4）比特率和波特率之间的关系是什么？ （5）具有怎样概率密度函数的连续信源能产生最大平均信息量？ （6）从信息传输角度解释平均互信息量的物理意义。 （7）解释香农信道容量公式的物理意义。 （10）电话信道信噪比为30dB、带宽为3.4kHz时的最高信息传输率是多少？ 1、共熵与熵和条件熵的关系为 H（XY）=H（X）+H（Y/X） H（XY）=H（Y）+H（X/Y） 2、平均互信息量与熵和条件熵的关系为 I（X，Y）=H（X）-H（X/Y） I（X，Y）=H（Y）-H（Y/X） 3、平均互信息量与熵和共熵的关系为 I（X，Y）=H（X）+H（Y）-H（XY） 2．7．4 连续信源的信息度量 根据抽样定理，如果一个连续的低通信号其上限频率为W，那么可以用频率为2W的抽样序列进行无失真的表示。 设一连续的平稳随机函数，其一元概率密度为p(xi)，我们将随机变量的取值范围内分成2N小段，当N足够大时，Δxi小段内的概率可近似表示为 P(xi≤x≤xi+Δx)≈p(xi)Δxi 当各抽样点统计独立时每个点包含的平均信息量（熵）为： H(X)≈- p(xi)Δxilog[p(xi)Δxi]] 令Δxi→0,N→∞,则可得连续每个抽样点的平均信息量 H(X)= {- p(xi) xilog{p(xi) =- p(x)dx{log[p(x)dx]} =- p(x)logp(x)dx-logdx p(x)dx =- p(x)logp(x)dx+log(1/dx) 称为绝对熵。 定义 H（X）=- p(x)logp(x)dx为相对熵。 例2-7 如前所述，离散消息源当所有符号等概输出时，其熵最大。 连续信息源的最大熵条件如何求得？最大熵是多少？ 取决于消息源输出上所受的限制。常见的限制有两种。 峰值受限：对于有线性要求的系统，为了避免线性失真，对信号的峰值幅度有限制。 均方值受限（功率受限）：无线性要求的系统。 1、对于均方值受限系统（功率受限系统） 最佳概率密度函数为正态分布 p(x)= exp[-x2/(2 2)] 其中数学期望为0，方差为 2 最佳分布时的最大熵为 H(X)=log (bit) 2、对于峰制受限情况（线性系统） 最佳概率密度函数为均匀分布 p(x)= 其中x的取值范围为（-A，A） 最佳分布时的最大熵为 H(X)=log(2A)(bit) 连续信源编码的目的，就是要根据信源输出的受限情况，将其信源的概率密度函数变换为符合最大熵条件的概率密度函数，以得到最大熵。