信息论课件-信道模型和信道容量.pptVIP

上式说明，强对称信道的噪声熵H(Y/X)就是信道转移矩阵中任一行r个元素组成的熵函数值，它决定于信道的错误概率ε和符号个数r。 根据信道容量的定义： 由最大熵定理可知 C=logs-H(ε,1-ε)- εlog(r-1)=logs-H(p1’,p2’…ps’) 对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C。 对于强对称信道，可以证明H(X)=H(Y)=logr=logs, 对于强对称信道，还可以证明H(Y/X)=H(X/Y) 例 BSC的信道矩阵如下 对称信道的信道容量 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道。例如 对称矩阵与强对称信道的区别在于： 强对称信道要求r=s，对称信道不要求； 强对称信道每行之和及每列之和都等于1，对称信道每行之和等于1，而每列之和不一定等于1； 强对称信道的矩阵为对称矩阵，对称信道的矩阵不一定是对称矩阵； 准对称信道 在信道P中，按列可以划分几个子集，子集中元素满足对称性。 一般信道容量的计算方法 Q={Q0,Q1,…,QK-1}达到信道容量的充要条件 离散无记忆信源的扩展信源 信道组合 串联信道 并联信道 4.4 时间离散的无记忆连续信道 信道模型和信道容量 3.1 信道模型和信道分类 1〉什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 2〉信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 3〉研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。。 信道分类 信道可以从不同角度加以分类： 根据用户多少分为：单用户信道、多用户信道 根据信道输入端和输出端的关联又可以分为：无反馈信道、反馈信道 根据信道参数与时间的关系：固定参数信道、时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道 离散信道 设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X={a1,a2,….ar} 输出符号集：Y={b1,b2,….bs} 信道转移概率：P(Y/X)={p(b1/a1),p(b2/a1),…p(bs/ar),…… 离散信道 P(Y/X) X Y 离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道 离散信道三种表达方式 概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)} (i=1,2,……r; j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1 转移矩阵描述 矩阵[P]称为转移矩阵或信道矩阵；表示为： [P]= b1 b2 … bs a1 p(b1/a1) p(b2/a1) … p(bs/a1) a2 p(b1/a2) p(b2/a2) … p(bs/a2) … … … … … ar p(b1/ar) p(b2/ar) … p(bs/ar) [P]矩阵为一个r×s矩阵，其每行元素之和等于1。 3。图示法描述 例：二元对称信道 1-p 1-p p p 1 1 0 0 X与Y的关系 联合概率 P(X=ai,Y=bj)=p(ai,bj) p(ai,bj)=p(ai)p(bj/ai)=p(bj)p(ai/bj) (i=1,2,…r) (j=1,2,…s) yj的概率 P(Y=bj)=p(bj) [p(b1),p(b2),…p(bs)]=[p(a1),p(a2),…p(ar)][P] 后验概率 P(X=ai/Y=bj)=p(ai/bj) (i=1,2,…r) (j=1,2,…s) 并且有： 这表明：当信道输出一个符号bj时，一定是有一个输入符号ai输入信道。对于给定的信道[P]，如果已知先验概率p(ai)，则可以求出p(ai,bj)、P(ai/bj)和p(bj)。 信道疑义度 I(X；Y)=H(X)-H(X/Y) 其中条件熵H(X/Y)称为疑义度，可疑度，，它表示接收者收到Y后，对信源X仍然存在的平均不确定度。对于接收者来说，H(X)称为先验不确定度，H(X/Y)称为后验不确定度。平均交互信息量等于不确定度的变化量。 散布度（噪声熵） I(X；Y)=H(Y)-H(Y/X) 其中条件熵H(Y/X)称为散布度，噪声熵，，它表示发信者发出X