[2018年最新整理]5-第五讲连续信源和信道.pptVIP

* * 5－1 连续信源和波形信源的微分熵 5－2 具有最大熵的连续信源 5－3 连续信道和波形信道 5－4 连续信道和波形信道的信道容量 第五讲 连续信源和信道 5－1 连续信源和波形信源的微分熵 连续随机变量是取值范围连续，而时间是离散的，所以也叫做时间离散的连续随机变量。这种随机变量 的序列表示的信源为连续信源。 时间 t 随机变量的取值范围（符号集）x 随机过程是取值范围和时间都是连续的。随机 过程表示的信源为波形信源。 不同的观测 一次观测---样本函数 随机变量 随机过程在限频带 F、限时间 T的情况下，可以利用正交函数系（如KL变换）展开为独立的有限个时间离散的随机变量。（王育民书后有附录） 2FT个自由度－取样值。抽样间距 1 / 2F. 随机波形信源的特点： 1、消息数是无限的； 2、利用概率密度函数表示。 平稳遍历随机过程：统计特性不随时间变化、样本函数 遍历各个样本值。 确定观测条件：确定的随 t 变化的样本函数； 确定时间： 随机变量。 连续随机变量的微分熵（差熵） 原式的一项的极限定义为连续随机变量的微分熵： 一般将上式中的第二项称为绝对熵。以下式表示。 微分熵与离散熵的不同：可以为负值；经过变换可能增加。（例如KX。） 微分熵与离散熵的相同：虽然不再表示集合事件出现的不确定性度量了，但还是有许多和离散熵一样的性质，特别是可以表示两个集合之间的互信息。 对于联合集 ，定义其微分熵 对于随机过程的微分熵，可以近似为随机变量系列。 条件熵： 随机序列的微分熵和条件熵关系： （Jensen不等式对于连续变量也成立。） 例：令X是在区间（a，b）上均匀分布的随机变量， 求X的微分熵。 解： 例：令X是期望为m，方差为 的正态随机变量， 求X的微分熵。 解： 熵率：单位时间内信源的微分熵。 例如均匀分布连续信源（序列）的熵率： 对于限频 F ，T时间内有2FT个自由度（样点）， 注：对于随机过程的处理：首先搞清连续随机变量的特点， 再作 N 维序列的。对于限频 F 限时 T的随机过程， 可用 2FT 个自由度表示。 （或者最低取样间隔为1/2F秒，故每秒2F个样点， 单位时间的熵即为乘以2F） 连续集的熵要在一定约束条件下求解极大值，否则仍可能为无穷大。例如对于正态分布的熵为， 若不对功率加限制，将为无限大。 常见的限制为峰值功率受限和平均功率受限。 （1）峰值功率受限：假定随机变量x的取值为[a,b]， 5－2 具有最大熵的连续信源 若连续变量x的幅度为[a,b]，则x的微分熵 （限幅情况下，均匀分布时微分熵最大） 定理： 证明： 设一般分布为去q(x), 最大分布为p(x) （2） 平均功率受限时，限制随机变量x 的平均功 率或方差，即 定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大， 证明： 设一般分布的概率密度为q(x), 正态分布的概率密度为p(x) 熵功率：设任意分布的连续集X的熵为h(X)，集X的熵 功率定义为高斯分布下的功率： ：为达到给定的熵值 h(X)，正态分布所需要的 功率为最小。 如果熵功率和信号的平均功率相差越大，信号的剩余度越大。 知道集合X的熵功率，可以立刻得到熵值。 连续信源的剩余度为： 5－3 连续信道和波形信道 高斯信道：信道噪声为高斯噪声，概率密度服从 N 维 高斯分布。 白噪声信道：信道噪声为白噪声。 （为双边功率谱密度） 高斯白噪声信道：信道噪声为高斯白噪声。 （概率密度为高斯分布，功率谱密度为均匀分布） 平均功率 总功率 每个样点的功率 限频限时的高斯白噪声，分解为 2FT 个独立的分量： 均值为0，方差为 的高斯变量。 加性信道和乘性信道： 我们主要研究可加噪声信道： y = x