- 1、本文档共62页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
总结与复习2011
信息论与编码 总结与复习2011;本课程主要内容;第一部分、信息论基础;2、信息熵的定义:
(1)离散信源;3、信息熵的特点
(1)非负性:H(X) ≥ 0
(2)对称性:H(p1p2……)=H(p2p1……)
(3)极值性:
《1》离散信源各符号等概率时出现极大值:
H0=log m
《2》连续信源信号幅度受限时均匀分布出现
极大值: hmax(X)=log (b-a);
《3》连续信源信号方差有限时高斯分布出现
极大值:;4、离散序列的信息熵
(1)无记忆信源的联合熵与单符号熵:
H(X1X2……XN)
= H(X1)+H(X2)+H(X3)+……+H (XN) = NH(X1)
(2)有记忆信源的联合熵与条件熵:
H(X1X2……XN)=H(X1) + H(X2|X1)
+ H(X3|X1X2) + ……+H (XN|X1X2……XN-1)
(3)平均符号熵:
HN =H(X1X2……XN) / N;(4)序列信息熵的性质:
《1》条件熵不大于无条件熵,强条件熵不大于弱
条件熵:H(X1) ≥ H(X2|X1) ≥ H(X3|X1X2) ≥ …
…… ≥H (XN|X1X2……XN-1)
《2》条件熵不大于同阶的平均符号熵:
HN ≥H (XN|X1X2……XN-1)
《3》序列越长,平均每个符号的信息熵就越小:
H1 ≥ H2 ≥ H3 ≥ …… ≥H N
总之:H0 H1 ≥ H2 ≥ H3 ≥ …… ≥HN ≥ H∞
(无记忆信源取等号。);第一部分、信息论基础 1.1 信源的信息理论;[例1] 已知二阶马尔可夫信源的条件概率:
p(0|00)=p(1|11)=0.8;p(0|01)=p(1|10)=0.6;
求稳态概率、稳态符号概率、稳态符号熵和稳态信息熵。
解:二阶马氏信源关联长度=3,状态由相继2符号组成,共有4个状态,分别为:E1=00;E2=01;E3=10;E4=11;
已知的条件概率即是:
p(0|E1)=p(1|E4 )=0.8;p(0|E2)=p(1|E3 )=0.6;
根据归一化条件可求出另外4个状态符号依赖关系为:
p(1|E1)=p(0|E4 )=0.2;p(1|E2 )=p(0|E3 )=0.4; ;;可解得:;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;[例2]已知信源先验概率p(x)={0.7, 0.3},信道传输
矩阵 ;试计算各信息熵和互信息。; H(Y | X)= – 0.21log0.3 –0.14log0.2 –0.35log0.5
–0.12log0.4 –0.09log0.3–0.09log0.3
= 1.5114 bit/符号
(4)接收符号熵:由; H(X|Y)= -0.21log(7/11) - ……0.09log(9/44)=0.8558 bit/符号
或:H(X|Y)=H(XY)-H(Y)=2.3924-1.5266=0.8558 bit/符号
(6)平均互信息:
I(X;Y)=H(X)-H(X|Y)= 0.881 –0.8558=0.0252 bit/符号;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第一部分、信息论基础 1.2 信道的信息理论;第二部分、无失真信源编码;定义相对信息率: μ = H∞/H 0
信源冗余度(或剩余度):γ =1-μ
怎样将这些冗余压缩掉?
寻找一种更短的代码序列,在不损失信息的前提下,替代原来的符号序列。
应当尽量使所找的编码序列各个码元相互独立且等概,就会使单位符号信息含量更多,代码就比原来更短。;第二部分、无失真信源编码
您可能关注的文档
- 《工具》单元复习题.ppt
- 从“赢”字诠释解读成功的必备要素.ppt
- 例题解析(数组).ppt
- 市场信息学课件第2讲1-4信息的生命期.ppt
- 形象营销.ppt
- 征地补偿程序.ppt
- 微机原理及应用 第八章 人机通道配置与接口技术.ppt
- 微观经济 ch02.ppt
- 德贵自律.ppt
- 必修2课件2.1.2-1异面直线的有关概念和原理.ppt
- 分析let s单元56ago2卷纸zheng unit56.pdf
- 塑胶材料其它分类原料pa9t 12.pdf
- md16x16数字媒体切换器设备.pdf
- 者参考项目发起人学科类型单位序列承包商修订页代码顺序典型.pdf
- 届世界天然气大会阿姆斯特丹2006add10288.pdf
- 期测试记录表每周weekly g1g6 journeys tests level 6 lesson26.pdf
- modernize-whitepaper现代化您应用程序白皮书.pdf
- anybackup产品典型案例分析.pdf
- 约克金融工程课程tfeslide32.pdf
- 广州市妇女儿童医疗中心历份教学药历01tjy.pdf
文档评论(0)