- 1、本文档共49页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
信息论课件第-讲信息度量
第二章、离散信源及其信息度量 第一、二、三讲、信息度量 第四讲、离散无记忆信源 第五讲、离散有记忆信源的极限熵 第六讲、马尔科夫信源(上) 第七讲、马尔科夫信源(下) 第八讲、信源的相关性及剩余度 如1:巴西队获取2010年世界杯。 当你接收到这样一条新闻时,你不会太吃惊,因为这个事件发生的可能性较大,而且其相对你来说没有多少意义,信息量为0。 如2:中国队获得2010年世界杯。 当你接到这条新闻,你一定会大吃一惊,联想翩翩:1、只有中国参加?2、中国企业冠名每个世界强队等等。我们知道,这件事发生的可能性为0,得到这个消息就意味着可以带来无穷想象。信息量无穷大。 1.1.2 自信息量的计算公式 证 明 引理: 设f(x)满足:① f(0)=+∞; f(1)=0. ② f(x) ↓ ③ f(x*y)=f(x)+f(y) ,x,y∈(0, 1). 则 f(x)=clnx,且c 0。 1.1.3 计算自信息量的例子 1.1.4 自信息量的涵义 1.5 自信息量的性质 1、单位 1.2、离散信源的熵 1.2.1 平均自信息量——熵的定义 1.2.2 熵的几条性质 证 明 1.2.3 计算熵的例子 前面我们介绍了信源发出消息由一个符号表示的情况,从而可以得到信源每个消息的自信息量和信源的平均自信息量。(等价于一维随机变量) 1.3、条件自信息量 1.3.2 计算条件自信息量的例子 1.4、互信息量 1.4.2 互信息量的性质 1.5 条件熵的定义 1.5.2 计算条件熵的例子 1.6 平均互信息量 1.6.1 平均互信息量的性质 ⑥、I(X; Y)≤H(X),I(X; Y)≤H(Y)。 (性质4有多种简单的证明方法。 第一种证明方法:由I(X; Y)的定义可得。 第二种证明方法: I(X; Y)=H(X)-H(X|Y)≤H(X)。 ⑥’、 若X是Y的确定的函数X=g(Y),则 I(X; Y)=H(X)≤H(Y)。 若Y是X的确定的函数Y=g(X),则 I(X; Y)=H(Y)≤H(X)。 (证略) 一般印象 (平均互信息量I(X; Y)的各种性质与我们对“互信息量”这个名词的直观理解非常吻合)。 一般情形:总有 0≤I(X; Y)≤min{H(X), H(Y)}。 一种极端情形:若X与Y相互独立,则I(X; Y)=0。 另一种极端情形:若X、Y中有一个完全是另一个的确定的函数,则 I(X; Y)=min{H(X), H(Y)}。 三个变量的情况 符号xi与符号对(yj,zk)间的互信息: 在zk条件下,xi与yj之间的互信息: 三维联合集的平均互信息: 很显然,从通信的角度来看,上述两个差值应该相等,即: 事实上,由概率论概率的乘积公式有: 这样,用I(x;y)或I(y;x)记该差式,称为x与y之间的互信息量,单位也为比特。 故: 一、对称性 二、当x与y统计独立时 三、I(x;y)可正可负 四、 五、 例7、信源发出符号X={0,1},经干扰接收到Y={0,1,?}。其中 求: 熵是信源平均不确定性的度量,一般情况下,它并不等于信宿所获得的平均信息量,只有在无噪情况下,二者才相等.为此我们需要学习条件熵.同时我们由条件熵引出平均互信息量的概念,其可以用来衡量一个信道的好坏. 设X是信源的消息集,Y是信宿消息集,对条件自信息量 取统计平均值得到条件熵 ,即: 其中 为联合概率, 为条件概率. 例8 设一个二进制对称信道BSC: 其先验概率为p(0)=p(1)=1/2,试计算条件熵. [解答]由已知条件得: 由条件熵的定义有: 通讯系统: 单位:bit/符号 注意:I(x;y)可正可负,但是I(X;Y)一定大于0 关于输入分布 成上凸函数( 视为常数) 关于条件分布 成下凸函数( 视为常数) ④. 左边的圆代表符号集X的熵,右边的圆代表符号集Y的熵,两个圆重叠部分是平均互信息I(X;Y)。每个圆减去平均互信息后剩余的部分代表两个条件熵。 各种熵之间的关系 * 信源发出的消息常常是随机的,具有不确定性。如果信源中某一消息的不确定性越大,一旦发生,并为收信者收到,消除的不确定性就越大,获得的信息也就越大。同时事件发生的不确定性与事件发生的概率有关,概率越小,不确定性就越大。
文档评论(0)