信息论离散信道及其容量.pptxVIP

;4.1 信道的数学模型及其分类;信道的分类;一些特殊信道;4.2 离散无记忆信道;离散无记忆信道;无记忆离散平稳信道中序列的转移概率和单个符号的转移概率的关系;三种常见的离散信道;4.2.2 单符号离散信道;例4.2.1 二元对称信道 简称为BSC 二元：输入和输出符号集均为{0,1} 对称：1变成0和0变成1的概率相等。 p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p BSC的信道矩阵：;例4.2.2 二元删除信道 二元：输入符号集为{0,1}，输出符号集中的有效字符也为{0,1}。 删除：输出符号集为{0,x,1}，不过信道不会发生错误（0不可能变为1，1也不可能变为0），但是0和1都有被删除的可能（删除用变为x表示）。 信道矩阵：;例4.2.3 二元对称消失信道 二元：输入符号集为{0,1}，输出符号集中的有效字符也为{0,1}。 消失：输出符号集为{0,x,1}，信道有可能发生错误（0可能变为1，1也可能变为0），而且0和1都消失的可能（消失用变为x表示）。 信道矩阵：;离散信道中常用的几种概率;4.2.3 信道疑义度;例4.2.4 二元删除信道 则 由此可得;4.2.4 平均互信息;两个定理;平均互信息的例子;例4.2.7 对信道的输入符号集X：设面1、2、3、4朝上为事件X=0；设面5、6朝上为事件 X=1。则信源概率空间为： 对信道的输出符号集Y：设出现0次正面为 事件Y=0；设出现1次正面为事件Y=1；设出 现2次正面为事件Y=2。则信道矩阵为： 联合分布为： 条件熵为： 输出符号集Y的分布： 则 所以：I(X;Y)=H(Y)-H(Y|X)=1.325-1.166=0.159 ;4.2.5 熵、信道疑义度及平均互信息的相互关系;4.3 离散无记忆扩展信道;例4.3.1 二元无记忆对称信道的二次扩展信道。 二元对称信道 二次扩展信道的输入和输出： N=2,r=2,s=2，则rN=4,sN=4，输入、输出符号集{00,01,10,11} 扩展信道的传递概率： 信道矩阵为： 扩展信道的平均互信息：I(X;Y)=I(XN;YN);4.3.2 定理;;假设串联的两个信道为信道I和信道II，信道I的传递概率为p(y|x)，信道II的传递概率为p(z|xy)。 定理4.4.2 若随机变量X,Y,Z构成一个马尔可夫链（p(z|xy)=p(z|y)），则有 I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z) 定理4.4.2叫做数据处理定理，它的含义是通过串联信道的传输，只会丢失信息???不会增加信息，至多保持原来的消息量。这是信息不增性原理。;例4.4.1 两个二元对称信道串联;例4.4.2 信道I和信道II的信道矩阵分别为 X,Y,Z构成一个马尔可夫链，则;4.5 信道容量;信息传输率;4.5.2 特殊信道的信道容量;4.5.2.1 无损信道;4.5.2.2 确定信道;4.5.2.3 无噪信道;4.5.3 对称信道;对称信道的容量;对称信道容量的例子;4.5.7 信源和信道的匹配;本章小结