现代通信原理2信号、噪声与信息论绪论.ppt

* * 连续信源编码的目的，就是要根据信源输出的受限情况，将其信源的概率密度函数变换为符合最大熵条件的概率密度函数，以得到最大熵。 * * 与离散信源相对应，当发送端连续信源为X，接收到的连续信源为Y时，它们的相对条件熵 H(X/Y)=- p(y)p(x/y)log(x/y)dxdy 其中P(y)为接收信号y的概率密度函数，p(x/y)为条件概率密度。 同理有： H(Y/X)=- p(x)p(y/x)log(y/x)dxdy * * 连续信源的平均互信息量 I(X,Y)= - p(xy)log dxdy 平均互信息量与条件熵和熵之间的关系为： I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X） * * 2.8 信道容量和香农公式 信道容量： 单位时间内信道上所能传输的最大信息量称为信道容量。 * * 2．8．1 有扰离散信道的信息传输 离散信道: 信道输入和输出都是离散符号。 1、当信道中无干扰时，离散信道输入符号X和输出符号Y之间有一一对应的关系。 2、当信道中存在干扰时，输入符号与输出符号之间不存在一一对应关系，只存在一定的统计相关性。 * * 这种统计相关性取决于转移概率p(yj/xi)。离散无记忆信道的转移概率可用下列矩阵表示： P(yj/xi)= * * 同理有 P(xi/yj)= * * 无记忆信道 每个输出符号只取决于当前的输入符号，而与其它输入符号无关。 信道转移概率矩阵中各行和各列具有相同集合的元素。 对称信道 - p(yj/xi)logp(yj/xi)=常数 即上述求和与i无关 * * 对称信道的输入、输出符号集合之间的条件熵 H(Y/X)=- p(xiyj)logp(yj/xi) =- p(xi)p(yj/xi)logp(yj/xi) =- p(yj/xi) logp(yj/xi)[ p(xi)] =- p(yj/xi) logp(yj/xi) 上式表明，对称信道的条件熵H（Y/X）与输入符号p(xi)的概率无关，仅与信道转移概率p(yj/xi)有关。 * * 同理有 H(X/Y)= - p(xi/yj) logp(xi/yj) 以有扰信道无记忆的二进制对称信道为例，如图2-2所示，它的传输特性可用转移概率矩阵来表示。 p(yj/xi)= * * 平均互信息量 I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X） 表示了从Y中获取的关于X的信息，因而也就是有扰信道所传输的信息量。 尽管对称信道的条件熵只取决于信道转移概率，但H（X）或H（Y）却与p(x)或p(y)有关。 即有扰信道上所传输的信息量不但与条件熵H（X/Y）或H（Y/X）有关，而且与熵H（X）或H（Y）有关。 * * 假设通信系统发送端每秒发出r个符号，则有扰信道的信息传输速率R R=I(X,Y)r=[H(X)-H(X/Y)]r =[H(Y)-H(Y/X)]r 有扰信道的信道容量： 有扰离散信道的最高信息传输速率。用C表示。 * * C=Rmax=max[H(X)-H(X/Y)]r =max[H(Y)-H(Y/X)]r 显然，在条件熵一定的情况下（即信道情况一定时），若能使H（X）或H（Y）达到最大，即可求得有扰离散对称信道的信道容量。 * * 在对称信道时，若信道输入符号是等概分布的，输出符号也是等概分布的。 证明：设输入符号等概分布，即p(xi)=1/L,对称信道转移矩阵中第j列元素为{p(yj/x1) p(yj/x2) … p(yj/XL)}，则信道输出符号yj的概率 p(yj)= p(xi)p(yj/xi)= p(yj/xi) * * 因此输出符号也是等概分布的，此时H（Y）达到最大熵，Hmax(Y)=logM。 得有扰离散信道的信道容量 ： C=[logM+ p(yj/xi)logp(yj/xi)]r 例2-8 * * 2.8.2有扰连续信息的信息传输 在有扰连续信道中，接受到的信号y是发送信号x和信道噪声n的线性叠加，即 y=x+n 假设信号和噪声在各抽样点上均为独立的正态分