第四章 波形信源与波形信道.ppt

第四节 连续信道和波形信道的分类 若多维连续信道的传递概率密度函数满足 则称此信道为连续无记忆信道。若连续信道在任一时刻输出的变量只与对应时刻的输入变量有关，与以前时刻的输入，输出变量无关，也与以后的输入变量无关，则此信道为无记忆连续信道。 连续信道任何时刻的输出变量与其他任何时刻的输入，输出变量都有关。则此信道称为连续有记忆信道。 第四节 连续信道和波形信道的分类 基本连续信道就是输入和输出都是单个连续型随机变量的信道，基本连续信道就是单符号连续信道，其输入是连续型随机变量X，X取值于[a,b]或实数域R；输出也是连续性随机变量Y，取值于 或实数域R；信道的传递概率密度函数为p(y|x)，并满足 因此，可用 来描述单符号连续信道。 根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道，乘性信道和高斯信道等之区分。 对于加性信道，信道的传递概率密度函数就等于噪声的概率密度函数。这也进一步说明了信道的传递概率是由于噪声所引起的。 噪声n 输入Y 输入X 第四节 连续信道和波形信道的分类 因此，在加性信道中，条件熵为 根据坐标变换得 所以 结论说明了条件熵 是由于信道中噪声引起的，它完 全等于噪声信源的熵，所以称为噪声熵。 以后主要讨论的是加性信道，噪声源主要是高斯白噪声。 信道 + 第五节 连续信道和波形信道的信息传输率 单符号连续信道的平均互信息 单符号连续信道的数学模型为 输入信源X为 输出信源Y为 而信道的传递概率密度函数为 第五节 连续信道和波形信道的信息传输率 对于连续信道的平均互信息来说，关系式和离散信道下平均互信息的关系式完全类似，而且保留了离散信道平均互信息的含义和性质，只是表达式中用连续信源的差熵代替了离散信源的熵。 单符号连续信道的信息传输率 （比特/自由度） 平均互信息为： 第五节 连续信道和波形信道的信息传输率 多维连续信道的平均互信息 多维连续信道的数学模型是[X，p(y|x)，Y]，其传递概率密度函数为： 多维连续信道的平均互信息为： 第五节 连续信道和波形信道的信息传输率 根据随机矢量X和Y的差熵和条件差熵的表达式可得： 以上表达式与离散信道下平均互信息的完全类，只是表达式 中概率分布函数用概率密度函数来替代，求和号用积分号来 替代。因此，离散扩展信道中平均互信息的性质在多维连续 信道中仍成立。 第五节 连续信道和波形信道的信息传输率 多维连续信道的信息传输率 （比特/N自由度） 平均每个自由度的信息传输率 （比特/自由度） 波形信道的信息传输率 波形信道输入是平稳随机过程{x(t)}，输出也是平稳随 机过程{y(t)}。一般情况，对于波形信道来说，都是研究其 单位时间内的信息传输率 第五节 连续信道和波形信道的信息传输率 1.非负性 2.对称性（交互性） 因为 当X和Y统计独立时即p(x|y)=p(x), I(X;Y)=I(Y;X)=0 就不可能从一个随机变量获得关于另一个随机变量的信息。 3.凸状性 连续变量之间的平均互信息是输入连续变量X和概率密度函数p(x)的∩型凸函数；平均互信息又是连续信道传递概率密度函数p(y|x)的U型凸函数。 连续信道平均互信息的特性 第六节 连续信道和波形信道的信道容量 和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称为信道容量。它也是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道的带宽以及信号的各种限制不同，所以具有不同的信道容量。 一般的多维连续信道的信道容量为: 一般的波形信道的信道容量为: 第六节 连续信道和波形信道的信道容量 一般多维加性连续信道的信道容量为: 加性信道的信道容量取决于噪声的统计特性和输入随机矢量所受的限制条件