第4章节(波形信源和波形信道).pptVIP

05-06学年上 Elements of Information Theory 信息论Elements ofInformation Theory 蒋青 jiangq@cqupt.edu.cn TEL4、波形信源和波形信道 4.1 波形信源的统计特性和离散化 4.2 连续信源和波形信源的信息测度 4.3 具有最大熵的连续信源 4.4 熵功率 4.5 连续信源熵的变换 4.6连续信道和波形信道的分类 4.7连续信道和波形信道的信息传输率 4.8连续信道和波形信道的信道容量 4.1波形信源的统计特性和离散化 随机变量 随机过程 表4.1 4.2连续信源和波形信源的信息测度 连续信源的数学模型 并满足 一维概率密度函数 一维概率分布函数 条件概率密度函数 联合概率密度函数 假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为 这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。 这时离散信源 Xn 的熵是 当n?∞, △?0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn )的极限值就是连续信源的信息熵： 定义连续信源的熵为： 又称为差熵、微分熵、相对熵。 两随机变量的联合熵和条件熵： 连续信源差熵的性质 可加性： 凸状性和极值性：差熵 H(X) 是输入概率密度函数 p(x) 的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。 三种特殊连续信源的差熵 1、均匀分布连续信源的熵值 一维连续随机变量X在 区间内均匀分布时 4.3具有最大熵的连续信源 离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。 在什么条件下，连续信源的熵最大？ 峰值功率受限条件下信源的最大熵（取值幅度受限） 定理：若信源输出的幅度被限定在 区域内，则当输出信号的概率密度分布是均匀分布时，信源具有最大熵。 最大熵为： 平均功率受限条件下信源的最大熵（方差受限） 定理：若一个信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大熵。 最大熵为： 4.5熵速率和熵功率 一、熵速率：信源在单位时间内输出的熵称为信源的熵速率。 若信源是时间连续、信号带宽为F的连续信源，根据随机信号的抽样定理，可用2F的速率对信源进行采样。因此，连续信源的熵速率为： 当信号平均功率受限时，高斯分布信源的熵最大。令其平均功率为P，则其熵为： 若另一信号Y的平均功率也为P，但不是高斯分布，那它的熵一定比上式计算的小，即： 4.6连续信道和波形信道的分类 波形信道：当信道的输入和输出都是随机过程 和 时，这个信称为波形信道。 它不仅在时间上是连续的，幅度上也是连续的。实际模拟通信系统中，信道都是波形信道。 信道按噪声统计特性的分类 1、高斯噪声信道 定义：信道中的噪声是高斯噪声，这个信道称之为高斯噪声信道。 其瞬时值的概率密度函数服从正态分布 。 高斯噪声的一维概率密度函数为： 信道按噪声对信号的作用功能分类 1、乘性信道 定义：若信道中噪声对信号的干扰作用表现为与信号相乘的关系，则此信道称为乘性信道。此噪声为乘性干扰。 2、加性信道 定义：若信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信道称为加性信道。此噪声为加性干扰。 连续信道的信息传输速率 一、单维连续信道的平均互信息 单维连续信道的数学模型为 输入X和输出Y之间的平均互信息为 连续信道平均互信息的特性 1、非负性 2、对称性 3、凸状性：连续变量之间的平均互信息 是输入连续变量X的概率密度函数 的上凸 函数； 又是连续信道转移概率密度函数 的下凸函数 。 经分析可得坐标变化后新旧概率密度函数的关系为： 结论：除非雅可比行列式等于1，否则，在一般情况下，连续型随机变量通过变化后其概率密度函数会发生变化。 坐标变换后差熵的变化 经过计算可得变换后连续信源的差熵为： 二、熵功率：若平均功率为P的非高斯分布的信源具有熵为 ,称熵也为 的高斯信源的平均功率为熵功率 . 由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P，即 三、连续信源的剩余度 熵功率的大小可以表示连续信源剩余的大小。若熵功率等于信号平均功率，就表示信号没有剩余。熵功率和信号的平均功率相差越大，说明信号的剩余越大。所以，信号平均功率和熵功率之差被称为连续信源的剩余度。 连续信源的剩余度= 研究波形信道就要研究噪声。