informationandcodinglecture.ppt

定义：具有一个输入和多个输出的信道称为广播信道。 最简单的广播信道是单输入双输出广播信道，如下图所示： 对于一般的广播信道，很难用系统的方法求出其信息率可达区域，只在某些特殊的情况下，能够证明信道容量的容量界线是可以达到的。 4.4.2 广播信道 4.4 多用户信道 定义：由多个单用户信道组成的并联信道，传送相互有关的多路信息的信道。这种信道有多个输入和多个输出，且输入端各信源之间有关联关系。 两个相关信源用两个独立信道传送的多用户信道模型。 随着网络技术的发展，多用户信息论在近代信息论中越来越为大家关注，不过许多问题还没有找到系统的解决方法。 4.4.3 相关信源的多用户信道问题 4.4 多用户信道 定义：当信源与信道连接时，若信息传输率达到了信道容量，我们称此信源与信道达到匹配。否则，认为信道有剩余。 信道冗余度定义： 信道冗余度＝C-I(X;Y) C表示该信道的信道容量，I(X;Y)表示信源通过该信道实际传输的平均信息量。 信道相对冗余度＝ 一般通信系统中，信源发出的消息（符号）必须转换成适合信道传输的符号（信号）来传输。对于离散无损信道，如何进行转换，才能使信道的信息传输率达到信道容量，达到信源与信道的匹配呢？－香农无失真信源编码定理。 4.4.4 信源与信道的匹配 4.4 多用户信道 无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息（符号）来传输，而使新信源的符号接近等概分布，新信源的熵接近最大熵log2r,这样，信道传输的信息量达到最大，信道剩余度接近于零，使信源与信道达到匹配，信道得到充分利用。 4.5.1 连续信道的定义及数学模型 4.5.2 连续信道的信道容量 4.5.3 加性连续信道的信道容量 4.5.4 高斯加性连续信道的信道容量 4.5.5 平均功率受限的加性信道的信道容量 4.5.6 结论 4.5 连续信道 连续信道定义：输入和输出随机变量都取值于连续集合的信道。 信道传递特性：传递特性用条件转移概率密度函数p(y/x)表示。 连续信道数学模型：{X p(y/x) Y}，如下图所示。 4.5.1 连续信道的定义及数学模型 4.5 连续信道 连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函数p(x)的上凸函数。 连续信道的信道容量C：信源X等于某一概率密度函数p0(x)时，信道平均互信息的最大值，即 一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。 4.5.2 连续信道的信道容量 4.5 连续信道 加性连续信道：噪声为连续随机变量N，且与X相互统计独立的信道。 这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y=X+N。如下图所示。 4.5.3 加性连续信道的信道容量 4.5 连续信道 对于加性连续信道，信道的条件概率密度函数等于噪声的概率密度 p(y/x)=p(n) 这进一步说明信道的传递概率是由于噪声熵所引起的。 4.5.3 加性连续信道的信道容量 4.5 连续信道 加性连续信道的条件熵等于其噪声熵。说明Hc(Y/X)是由噪声引起的，故称Hc(N)为噪声熵。 该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。 4.5.3 加性连续信道的信道容量 4.5 连续信道 加性连续信道的信道容量： 加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容量C就是选择p(x) ，使输出熵Hc(Y)达到最大值，即 上式说明：加性连续信道容量取决于噪声N（即信道）的统计特性和输入随机变量X所受的限制条件。（对于不同的限制条件，连续随机变量具有不同都最大熵值。） 4.5 连续信道 4.5.3 加性连续信道的信道容量 高斯加性连续信道： 高斯噪声为N，均值为0，方差为σ2 ，噪声功率为PN； 信道的传递概率密度函数：p(y/x)=p(n) 如果把x看成是一个常数，则上式就变成了随y变化的高斯函数，即当已知X=x时，Y也是一个高斯变量，均值为x，方差为σ2。 4.5.4 高斯加性连续信道的信道容量 4.5 连续信道 因此高斯加性信道的容量为 4.5 连续信道 4.5.4 高斯加性连续信道的信道容量 输入概率密度函数p(x)是什么样的函数时，才能使Y呈高斯分布？ 设限定输入平均功率PX，噪声平均功率PN=σ2， 则输出随机变量Y的平均功率PY也是受限的