原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
34、信息量、熵、互信息
Lecture Notes 34 2004/ 12/ 16
信息量、熵、互信息
信源的描述
X t X
原始信源的输出可以描述为随机过程 或者随机序列 n 。对于时间连续的情形（模
X t
拟信号） ，总可以将其变换成随机序列 （抽样定理），所以我们只考虑信源是随机序
列 X n 。
X n 是无限个随机变量，其全部统计特性由其任意N 维联合分布刻画。一般我们只需要用
到二阶特性就够了。一般可以假设 X n 是平稳遍历序列。
1. 消息信源
X n X n
中的第n 个元素 也成为信源输出的第n 个消息或第n 个 号。出于平稳性，在考
X
n X
察单个随机变量（单个消息、单个 号） 时可以省略下标n ，简记为 。
对于单个消息 X ，它的全部统计特性由其一维分布确定。设 X
是 的样本空间，考虑到
x ,x , ,x
量化这一点（见7.9.3 节），我们可以假设 1 2 M ，也即X 有M 种不同的取值，
也称信源的输出是M 进制 号，也说X 取值于M 种 号。此时完整写出全部的 P X x1 、
P X x2 、…、P X xM 就是给定了一维分布。通常也简记为 P x1 、P x2 、…、
P xM p , p , , p
或者 1 2 M 。也用式(7.2.1)这样的方式描述：
X x1 x 2 xM
P X p 1 p 2 p M
2. 多个消息
X , x ,x , x ,x , , x ,x ,
如果将序列 n 中的元素两两组合在一起： 0 1 2 3 2n 2n 1 ，
Zn X 2n , X 2 n1 Zn Z X
记 ，则 是平稳遍历随机序列，其样本空间 是 的样本空间
2
2
X Z X Z M Z
中元素的两两组合，记为 （幂集）。 是 进制的 号，将 中的所有
z , z , , z 2
元素编号为 1 2 M ，则Z 的分布可描述如下
Z z1 z 2 zM 2
P Z p 1 p 2 p M 2
推广到任意L 个消息
文档评论（0）