第4章(波形信源和波形信道).pptVIP

05-06学年上 Elements of Information Theory 4、波形信源和波形信道 4.1 波形信源的统计特性和离散化 4.2 连续信源和波形信源的信息测度 4.3 具有最大熵的连续信源 4.4 熵功率 4.5 连续信源熵的变换 4.6连续信道和波形信道的分类 4.7连续信道和波形信道的信息传输率 4.8连续信道和波形信道的信道容量 4.1波形信源的统计特性和离散化 随机变量 随机过程 表4.1 4.2连续信源和波形信源的信息测度 连续信源的数学模型 并满足 一维概率密度函数 一维概率分布函数 条件概率密度函数 联合概率密度函数 假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为 这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。 这时离散信源 Xn 的熵是 当n?∞, △?0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn )的极限值就是连续信源的信息熵： 定义连续信源的熵为： 又称为差熵、微分熵、相对熵。 两随机变量的联合熵和条件熵： 连续信源差熵的性质 可加性： 凸状性和极值性：差熵 H(X) 是输入概率密度函数 p(x) 的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。 三种特殊连续信源的差熵 1、均匀分布连续信源的熵值 一维连续随机变量X在 区间内均匀分布时 4.3具有最大熵的连续信源 离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。 在什么条件下，连续信源的熵最大？ 峰值功率受限条件下信源的最大熵（取值幅度受限） 定理：若信源输出的幅度被限定在 区域内，则当输出信号的概率密度分布是均匀分布时，信源具有最大熵。 最大熵为： 平均功率受限条件下信源的最大熵（方差受限） 定理：若一个信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大熵。 最大熵为： 4.5熵速率和熵功率 一、熵速率：信源在单位时间内输出的熵称为信源的熵速率。 若信源是时间连续、信号带宽为F的连续信源，根据随机信号的抽样定理，可用2F的速率对信源进行采样。因此，连续信源的熵速率为： 当信号平均功率受限时，高斯分布信源的熵最大。令其平均功率为P，则其熵为： 若另一信号Y的平均功率也为P，但不是高斯分布，那它的熵一定比上式计算的小，即： 4.6连续信道和波形信道的分类 波形信道：当信道的输入和输出都是随机过程 和 时，这个信称为波形信道。 它不仅在时间上是连续的，幅度上也是连续的。实际模拟通信系统中，信道都是波形信道。 信道按噪声统计特性的分类 1、高斯噪声信道 定义：信道中的噪声是高斯噪声，这个信道称之为高斯噪声信道。 其瞬时值的概率密度函数服从正态分布 。 高斯噪声的一维概率密度函数为： 信道按噪声对信号的作用功能分类 1、乘性信道 定义：若信道中噪声对信号的干扰作用表现为与信号相乘的关系，则此信道称为乘性信道。此噪声为乘性干扰。 2、加性信道 定义：若信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信道称为加性信道。此噪声为加性干扰。 连续信道的信息传输速率 一、单维连续信道的平均互信息 单维连续信道的数学模型为 输入X和输出Y之间的平均互信息为 连续信道平均互信息的特性 1、非负性 2、对称性 3、凸状性：连续变量之间的平均互信息 是输入连续变量X的概率密度函数 的上凸 函数； 又是连续信道转移概率密度函数 的下凸函数 。 坐标变换后差熵的变化 经过计算可得变换后连续信源的差熵为： 二、熵功率：若平均功率为P的非高斯分布的信源具有熵为 ,称熵也为 的高斯信源的平均功率为熵功率 . 由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P，即 三、连续信源的剩余度 熵功率的大小可以表示连续信源剩余的大小。若熵功率等于信号平均功率，就表示信号没有剩余。熵功率和信号的平均功率相差越大，说明信号的剩余越大。所以，信号平均功率和熵功率之差被称为连续信源的剩余度。 连续信源的剩余度= 研究波形信道就要研究噪声。在通信系统中，可把来自各部分的噪声都集中在一起，认为是通过信道加入的。 （1）按噪声的统计特性进行分类有： 高斯噪声信道、白噪声信道、高斯白噪声信道和有色噪声信道等。 （2）按噪声对信号的作用共能来分有：加性信道和乘性信道。 2、白噪声信道 定义：信道中的噪声是白噪声，即噪声是平稳随机过