现代通信原理(023).pptVIP

* * 自测题 （1）? 信息量的单位是什么？ （2）? 平均信息量的定义和含义是什么？ （3）? 由n个符号组成的离散信源，其最大熵是多少？ （4）? 比特率和波特率之间的关系是什么？ （5）? 具有怎样概率密度函数的连续信源能产生最大平均信息量？ * * ? （6）? 从信息传输角度解释平均互信息量的物理意义。 （7）? 解释香农信道容量公式的物理意义。 （8）? 用香农信道容量公式解释实现数字信号无误传输的最低Eb/No极限值为-1.6 dB。 （9）? (b/s)/Hz的含义是什么？ （10）? 电话信道信噪比为30 dB、带宽为3.4kHz时的最高信息传输率是多少？ * * * * 当各抽样点统计独立时每个点包含的平均信息量（熵）为： H(X)≈- p(xi)Δxilog[p(xi)Δxi]] 令Δxi→0,N→∞,则可得连续每个抽样点的平均信息量 H(X)= {- p(xi) xilog{p(xi) * * =- p(x)dx{log[p(x)dx]} =- p(x)logp(x)dx-logdx p(x)dx =- p(x)logp(x)dx+log(1/dx) 称为绝对熵。 定义 H（X）=- p(x)logp(x)dx为相对熵。 例2-7 * * 如前所述，离散消息源当所有符号等概输出时，其熵最大。 连续信息源的最大熵条件如何求得？最大熵是多少？ * * 取决于消息源输出上所受的限制。常见的限制有两种。 峰值受限：对于有线性要求的系统，为了避免线性失真，对信号的峰值幅度有限制。 均方值受限（功率受限）：无线性要求的系统。 * * 1、对于均方值受限系统（功率受限系统 最佳概率密度函数为正态分布 p(x)= exp[-x2/(2 2)] 其中数学期望为0，方差为 2 最佳分布时的最大熵为 H(X)=log (bit) * * 2、对于峰制受限情况（功率受限系统） 最佳概率密度函数为均匀分布 p(x)= 其中x的取值范围为（-A，A） 最佳分布时的最大熵为 H(X)=log(2A)(bit) * * 连续信源编码的目的，就是要根据信源输出的受限情况，将其信源的概率密度函数变换为符合最大熵条件的概率密度函数，以得到最大熵。 * * 与离散信源相对应，当发送端连续信源为X，接收到的连续信源为Y时，它们的相对条件熵 H(X/Y)=- p(y)p(x/y)log(x/y)dxdy 其中P(y)为接收信号y的概率密度函数，p(x/y)为条件概率密度。 同理有： H(X/Y)=- p(x)p(y/x)log(y/x)dxdy * * 连续信源的平均互信息量 I(X,Y)= - p(xy)log dxdy 平均互信息量与条件熵和熵之间的关系为： I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X） * * 2.8 信道容量和香农公式 信道容量： 单位时间内信道上所能传输的最大信息量称为信道容量。 * * 2．8．1 有扰离散信道的信息传输 离散信道: 信道输入和输出都是离散符号。 1、当信道中无干扰时，离散信道输入符号X和输出符号Y之间有一一对应的关系。 2、当信道中存在干扰时，输入符号与输出符号之间不存在一一对应关系，只存在一定的统计相关性。 * * 这种统计相关性取决于转移概率p(yj/xi)。离散无记忆信道的转移概率可用下列矩阵表示： P(yj/xi)= * * 同理有 P(xi/yj)= * * 无记忆信道 每个输出符号只取决于当前的输入符号，而与其它输入符号无关。 信道转移概率矩阵中各行和各列具有相同集合的元素。 对称信道 - p(yj/xi)logp(yj/xi)=常数 即上述求和与i无关 * * 对称信道的输入、输出符号集合之间的条件熵 H(Y/X)=- p(xiyj)logp(yj/xi) =- p(xi)p(yj/xi)logp(yj/xi) =- p(yj/xi) logp(yj/xi)[