信息论与编码理论.PPTVIP

第四章 信道及其容量 信道及其容量 4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道 4.1信道分类 信道分类 离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的，一个是连续的 时间离散的连续信道：信道输入和输出是连续的时间序列 波形信道：输入和输出都是时间的实函数x(t), y(t) 信道分类 两端信道 多端信道 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道 4.2 离散无记忆信道 离散无记忆信道 例：二元对称信道 p=0.1 有关DMC的容量定理 信道容量 定理4.2.1 定理4.2.1 定理4.2.1 定理4.2.2 Q={Q0,Q1,…,QK-1}达到信道容量的充要条件 对称DMC容量的计算 若信道转移概率矩阵所有行矢量都是第一行的置换，称为关于输入对称。 对称DMC容量的计算 P的所有列都是第一列的一种置换，关于输出是对称的 当输入事件等概，Qk=1/K 对称DMC的容量计算 输出集Y可划为若干个子集,每个子集对应的信道转移概率矩阵P中列所组成的子阵具有下列性质 每一行都是第一行的置换 每一列都是第一列的置换 该信道称为准对称信道 关于输入对称 Y的划分只有一个时，关于输入和输出均对称，称为对称信道 对称DMC的容量计算 对称DMC容量的计算 定理4.2.3 实现准对称DMC信道容量的输入分布为等概分布 对称DMC容量计算 K元对称信道 对称DMC容量计算 准对称信道 离散无记忆模K加性噪声信道 Z=X=Y={0,1,…,K-1} y=x+z mod K 一般DMC的容量计算 信道转移矩阵时非奇异方阵，假定所有Qk0 一般DMC的容量计算 4.3 信道的组合 积信道 C1＝maxI(X1,Y1) C2＝maxI(X2,Y2) 信道1和信道2同时传递消息，输入集X=X1×X2,输出集Y=Y1×Y2,转移概率p(jj’|kk’)=p(j|k)p(j’|k’) C=C1+C2 证明 和信道 单位时间内可随机选用信道1和信道2中的一个，选用信道1的概率为p1，选用信道2的概率为p2， p1 ＋p2＝1 输入空间X=X1+X2， Y=Y1+Y2， 和信道 级联信道 信道1的输出作为信道2的输入 4.4 时间离散的无记忆连续信道 可加噪声信道 P(y|x)=p(y-x)=p(z) 可加噪声信道 高斯信号和高斯噪声信道 平均功率受限的可加噪声信道 平均功率受限的时间离散、恒参、可加高斯噪声信道容量 平均功率受限时间离散恒参可加噪声信道容量 平行可加高斯噪声信道 X=(x1,…,xN),y=(y1,…,yN) 4.5 波形信道 可加波形信道 Y(t)=x(t)+z(t) 可加波形信道 可加波形信道 可加波形信道 Shannon公式 N=2WT 最佳分布是均值为0，方差为S的高斯型分布 给定信号功率，高斯信道是最差的信道 W趋于无穷大，单位时间的信道容量 Shannon极限-1.59dB * * 平稳信道 1-p 1-p p p 1 1 0 0 对DMC 准对称信道 对称信道 YS：子阵中每一列都是第一列置换 对每个j相同 对每个k相同 值与k无关 K=2,C =1-H(p) C=1-q 信道1 P(j|k) X1 Y1 信道2 P(j‘|k’) X2 Y2 推广为