信息论2015-3及答案.pptVIP

3.3.2 几种连续信源的熵 （1）均匀分布的连续信源熵 设一维连续随机变量X的取值区间是[a, b]，X在[a, b]中的概率密度函数是 这种连续信源称为均匀分布的连续信源，其熵为 这时可以看到，当(b-a)1时，H(X)0，即连续信源熵H(X)不具有熵函数的非负性，因为H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。 * 3.3.2 几种连续信源的熵 （2）高斯分布的连续信源熵 设一维随机变量X的取值范围是整个实数R，概率密度函数为 其均值和方差为 这时，可以得到高斯分布的连续信源的熵为 当均值为0时，高斯分布的信源熵为 * 3.3.2 几种连续信源的熵 （3）指数分布的连续信源熵 设一随机变量X的取值取间为[0，∞]，其概率密度函数为 则称为指数分布的连续信源。其中常数a为随机变量X的均值。即 指数分布的连续信源的熵为 其中利用积分关系 * * 第三章 信道容量与高斯信道 3.1 离散信道的信道容量 3.2 串联信道的交互信息量 3.3 连续信源的熵 3.4 连续信源的最大熵 3.5 连续有噪声信道的信道容量 * * 3.1 离散信道的信道容量 3.1.1 熵速率与信道容量 单符号离散无记忆信源与离散无记忆信道构成的通信系统模型如图。信道输入随机变量X，信道数出随机变量Y，描述信道特性的参数是信道转移概率矩阵。