- 1、本文档共101页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
信息论Elements ofInformation Theory;3离散信道及其信道容量;3离散信道及其信道容量;3.1 信道的数字模型及分类;信道分类;表2.2;;;信道模型;离散信道的数学模型;根据信道的统计特性即条件概率的不同,离散信道又可分成如下几种情况
;无干扰(无噪)信道:
有噪信道: 不是0,1分布,称
为有噪信道; 这种信道存在干扰,为实际中常见的信道类型,其输出符号与输入符号之间没有确定的对应关系,但信道任一时刻的输出符号仅统计依赖于对应时刻的输入符号,而与非对应时刻的输入符号及其它任何时刻的输出符号无关,是无记忆信道。; 单符号离散信道的数学模型;信道的转移概率:
信道的(前向)转移概率矩阵:
;记 则信道传递矩阵为
该矩阵又称信道矩阵,可作为单符号离散信道的另一种数学模型的形式。;几个重要的单符号离散信道;;几个重要的单符号离散信道;几个重要的单符号离散信道;几个重要的单符号离散信道;例:二元删除信道Binary Erasure Channel (BEC)
;单符号离散信道的一些概率关系;3.2平均互信息;信道疑义度(损失熵) ;接收到输出符号bj后关于X的后验熵:
当没有收到输出Y 时,已知输入变量X 的概率分布为P(x);而当接收到输出符号y=bj 后,输入符号的概率分布发生了变化,变成后验概率P(x|bj )。那么,接收到输出符号y=bj 后,关于X的平均不确定性为;后验熵在输出Y 的取值范围内是个随机量,将后验熵对随机变量Y 求期望,得条件熵为(即信道疑义度);信道疑义度的物理含义:信道疑义度表示在输出端收到输出变量Y全部符号后,对于输入端的变量X尚存在的平均不确定性(存在疑义)。这个对X尚存在的不确定性是由于干扰(噪声)引起的,它表示信源符号通过有噪信道传输后所引起的信息量的损失,故也称为损失熵。
;噪声熵 ;噪声熵H(Y/X)表示在已知输入变量X的条件下,对随机变量Y尚存在的不确定性。噪声熵完全是由于信道中噪声引起的,也称为散布度,它反映了信道中噪声源的不确定性。
;平均互信息;平均互信息:互信息在其概率空间中的数学期望;
平均互信息与各类熵的关系及含义:
I (X; Y )=H( X ) - H(X |Y )
= H( Y ) - H(Y |X )
= H( X ) + H( Y ) - H(XY );平均互信息的特性;(4)凸函数性
平均互信息量 I (X; Y ) 是输入信源概率分布 P(x) 的上凸函数(研究信道容量的理论基础)。
平均互信息量 I (X; Y ) 是信道转移概率 P(y|x)的下凸函数(研究信源的信息率失真函数的理论基础)。;例:BSC的输入概率空间;3.3 平均条件互信息;38;定义:对于三个离散随机变量X、Y、Z,在已知Z的条件下,X和Y之间的平均条件互信息为:
;书例3.3:四个等概分布消息M1、M2、M3、M4被送入一个二元无记忆对称信道进行传送。通过编码使M1=00,M2=01,M3=10,M4=11。而BSC信道如图所示。试问,输入是M1和输出是符号0的互信息是多少?如果知道第二个符号也是0,这时带来多少附加信息量?
;3.4信道容量及其一般计算方法;信道容量:最大信息传输率
;一、无噪无损信道的信道容量;a1
a2
an;二、无噪有损信道(确定信道):
H(X/Y)〉0,H(Y/X)=0
信道输出端接收到某个bj后不能判定是哪个输入符号ai
;信道容量:
I(X;Y)= H(Y) ,
则 C = max H(Y),
这时的输入分布应该是使得信道输出分布为等概分布。;三、有噪无损信道:
H(X/Y)= 0,H(Y/X)〉0;信道容量:
I(X;Y)= H(X),
则 C = max H(X)。;一般离散信道是既有噪又有损的。这种情况下信道容量的计算将十分复杂。我们先讨论一种特殊的有损有噪信道——对称离散信道的信道容量。然后讨论一般离散信道的信道容量。;1、定义:如果转移概率矩阵P的每一行包含同样元素,则为输入对称矩阵;如果转移概率矩阵P的每一列包含同样元素,则为输出对称矩阵;如果输入输出都对称,则为对称DMC信道。;2、信道容量;例题3.5:;例题:;3.4.3、准对称DMC信道
;准对称信道另一种定义:若信道转移矩阵按列可以划分成几个互不相交的子集合,而每个子矩阵(由子集所对应的信道转移矩阵中的列所组成)具有下述性质:
(1)?? 每一行都是第一行的一种排列
(2)?? 每一列都是第一列的一种排列
;方法二:将转移概率矩阵划分为若干个互不相交的对
您可能关注的文档
最近下载
- 管理学论文5000字.docx VIP
- 新修订特种作业(高处安装、维护、拆除作业)考试题库(核心题版).pdf VIP
- 《服装设计基础》知识考试复习题库资料(含答案).pdf VIP
- 2025年医学高级职称-精神病学(医学高级)考试近5年真题荟萃附答案.docx
- 2025年医学高级职称-精神病学(医学高级)考试近5年真题荟萃附答案.docx
- 2024最新传唤证模板.doc VIP
- 2025年医学高级职称-精神病学(医学高级)考试近5年真题集锦(频考类试题)带答案.docx
- 2025年高压电工复审考试题库库+答案.docx VIP
- 2025年医学高级职称-精神病学(医学高级)考试近5年真题集锦(频考类试题)带答案.docx
- 车轮制动器教案.doc VIP
文档评论(0)