第四章：信道及其容量.ppt

第四章：信道及其容量 §4.1 信道分类 §4.2 离散无记忆信道 §4.5 信道的组合 §4.6 时间离散的无记忆连续信道 §4.7 波形信道 §4.1 信道分类 信道是传输信息的媒质或通道。（输入→信道→输出） 说明 （1）信道输入是随机过程。 （2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。 （3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式） （4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续信道（又称为模拟信道）；特殊的连续信道——波形信道；恒参信道和随参信道；无记忆信道和有记忆信道；等等。 §4.2 离散无记忆信道 定义4.2.1和定义4.2.2(p81) 设 （1）信道的输入为随机变量序列X1, X2, X3, …，其中每个随机变量Xu的事件集合都是{0, 1, …, K-1}。 （2）信道的输出为随机变量序列Y1, Y2, Y3, …，其中每个随机变量Yu的事件集合都是{0, 1, …, J-1}。 （3）P((Y1Y2…YN)=(y1y2…yN)|(X1X2…XN)=(x1x2…xN)) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)…P(YN=yN|XN=xN)。 则称该信道为离散无记忆信道。（DMC） 如果对任意x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，则称该信道为离散无记忆平稳信道。 §4.2 离散无记忆信道 关于定义4.2.1和定义4.2.2的注解 “离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。 “无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。 “平稳”的含义是信道在不同时刻的响应特性是相同的。 “离散无记忆平稳信道”是最简单的信道，信道在某一时刻u的响应特性 P(Yu=y|Xu=x)； x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}， 就能很简单地计算出信道在任意时间段的响应特性。 §4.2 离散无记忆信道 一、有关DMC的容量定理 （所说的DMC都是离散无记忆平稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。 §4.2 离散无记忆信道 （1）转移概率矩阵的每一行都是一个概率向量。 §4.2 离散无记忆信道 （2）对任意y∈{0, 1, …, J-1}，由全概率公式有 §4.2 离散无记忆信道 （3）I(X; Y)是概率向量{q(x), x∈{0, 1, …, K-1}}和转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]的函数。 §4.2 离散无记忆信道 （4）设转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]确定，希望选择概率向量{q(x), x∈{0, 1, …, K-1}}使I(X; Y) 达到最大。则见定理2.6.2。 定义4.2.3(p82) 离散无记忆信道的信道容量定义为如下的C。达到信道容量的输入概率分布{x, q(x), x∈{0, 1, …, K-1}}称为最佳输入分布。 其中 §4.2 离散无记忆信道 定理4.2.2(p84) （1）输入概率分布{x, q(x), x∈{0, 1, …, K-1}}是最佳输入分布的充分必要条件为：对任何满足q(k)0的k， 都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)≤此相同的值。 （2）此时此相同的值恰好就是信道容量C。 （定理4.2.2实际上叙述了定理2.6.2的含义。） §4.2 离散无记忆信道 注解 给定一个DMC信道的响应特性，也就是说给定一个信道的转移概率矩阵[p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 达到信道容量时所对应的最佳输入分布是满足定理4.2.2条件的概率向量{q(x), x∈{0, 1, …, K-1}} 。 其信道容量是每个使得q(k)0的k所对应的半平均互信息量I(X=k; Y)。 如果对DMC信道没有任