信息论基础.3离散信道及其其信道容量.ppt

  1. 1、本文档共101页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
信息论 Elements of Information Theory;3离散信道及其信道容量;3离散信道及其信道容量;3.1 信道的数字模型及分类;信道分类;表2.2;;;信道模型;离散信道的数学模型;根据信道的统计特性即条件概率的不同,离散信道又可分成如下几种情况 ;无干扰(无噪)信道: 有噪信道: 不是0,1分布,称 为有噪信道; 这种信道存在干扰,为实际中常见的信道类型,其输出符号与输入符号之间没有确定的对应关系,但信道任一时刻的输出符号仅统计依赖于对应时刻的输入符号,而与非对应时刻的输入符号及其它任何时刻的输出符号无关,是无记忆信道。; 单符号离散信道的数学模型;信道的转移概率: 信道的(前向)转移概率矩阵: ;记 则信道传递矩阵为 该矩阵又称信道矩阵,可作为单符号离散信道的另一种数学模型的形式。;几个重要的单符号离散信道; ;几个重要的单符号离散信道;几个重要的单符号离散信道;几个重要的单符号离散信道;例:二元删除信道Binary Erasure Channel (BEC) ;单符号离散信道的一些概率关系;3.2平均互信息;信道疑义度(损失熵) ;接收到输出符号bj后关于X的后验熵: 当没有收到输出Y 时,已知输入变量X 的概率分布为P(x);而当接收到输出符号y=bj 后,输入符号的概率分布发生了变化,变成后验概率P(x|bj )。那么,接收到输出符号y=bj 后,关于X的平均不确定性为;后验熵在输出Y 的取值范围内是个随机量,将后验熵对随机变量Y 求期望,得条件熵为(即信道疑义度);信道疑义度的物理含义:信道疑义度表示在输出端收到输出变量Y全部符号后,对于输入端的变量X尚存在的平均不确定性(存在疑义)。这个对X尚存在的不确定性是由于干扰(噪声)引起的,它表示信源符号通过有噪信道传输后所引起的信息量的损失,故也称为损失熵。 ;噪声熵 ;噪声熵H(Y/X)表示在已知输入变量X的条件下,对随机变量Y尚存在的不确定性。噪声熵完全是由于信道中噪声引起的,也称为散布度,它反映了信道中噪声源的不确定性。 ;平均互信息;平均互信息:互信息在其概率空间中的数学期望; 平均互信息与各类熵的关系及含义: I (X; Y )=H( X ) - H(X |Y ) = H( Y ) - H(Y |X ) = H( X ) + H( Y ) - H(XY );平均互信息的特性;(4)凸函数性 平均互信息量 I (X; Y ) 是输入信源概率分布 P(x) 的上凸函数(研究信道容量的理论基础)。 平均互信息量 I (X; Y ) 是信道转移概率 P(y|x)的下凸函数(研究信源的信息率失真函数的理论基础)。;例:BSC的输入概率空间;3.3 平均条件互信息;38;定义:对于三个离散随机变量X、Y、Z,在已知Z的条件下,X和Y之间的平均条件互信息为: ;书例3.3:四个等概分布消息M1、M2、M3、M4被送入一个二元无记忆对称信道进行传送。通过编码使M1=00,M2=01,M3=10,M4=11。而BSC信道如图所示。试问,输入是M1和输出是符号0的互信息是多少?如果知道第二个符号也是0,这时带来多少附加信息量? ;3.4信道容量及其一般计算方法;信道容量:最大信息传输率 ;一、无噪无损信道的信道容量;a1 a2 an;二、无噪有损信道(确定信道): H(X/Y)〉0,H(Y/X)=0  信道输出端接收到某个bj后不能判定是哪个输入符号ai ;信道容量: I(X;Y)= H(Y) , 则 C = max H(Y), 这时的输入分布应该是使得信道输出分布为等概分布。;三、有噪无损信道: H(X/Y)= 0,H(Y/X)〉0;信道容量: I(X;Y)= H(X), 则 C = max H(X)。;一般离散信道是既有噪又有损的。这种情况下信道容量的计算将十分复杂。我们先讨论一种特殊的有损有噪信道——对称离散信道的信道容量。然后讨论一般离散信道的信道容量。;1、定义:如果转移概率矩阵P的每一行包含同样元素,则为输入对称矩阵;如果转移概率矩阵P的每一列包含同样元素,则为输出对称矩阵;如果输入输出都对称,则为对称DMC信道。;2、信道容量;例题3.5:;例题:;3.4.3、准对称DMC信道 ;准对称信道另一种定义:若信道转移矩阵按列可以划分成几个互不相交的子集合,而每个子矩阵(由子集所对应的信道转移矩阵中的列所组成)具有下述性质: (1)?? 每一行都是第一行的一种排列 (2)?? 每一列都是第一列的一种排列 ;方法二:将转移概率矩阵划分为若干个互不相交的对

文档评论(0)

lyxbb + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档