二元联合信源的共熵与条件熵.pptxVIP

一、引言1. 不同的信源之间存在相关性在现实社会及日常生活中，常常是多个信源同时都在人们通过各种渠道从不同的信源产生或者发布一些消息，中收到这些消息并获得信息量。 若消息之间相互独立，则总的信息量是这些消息所含的信息量之和； 若消息之间相互关联，则总的信息量相应地会降低。比如某信源发布一条消息 “信息论课的老师出差了”；一、引言1. 不同的信源之间存在相关性另一信源也发布一条消息 “下次的信息论课不上了” 。 如果单独收到这两条消息中的任何一条，都可以获得一定的信息量。 如果同时(或依次)收到这两条消息，所获得的信息量显然要小于两者的信息量之和。 它们之间是相互关联的。一、引言1. 不同的信源之间存在相关性2. 单个信源的消息之间存在相关性除了信源之间存在相关性之外，单个信源的各个消息之间也存在相关性。比如前面提到过的 “ 一帧电视图像 ”、“ 一篇万字表、千字文 ” 以及 “ 一篇由 26 个英文字母组成由于像素之间、汉字之间以及英文字母的英文文章 ” 等，之间都有很强的关联性， 因此它们的实际信息量比想像的要小得多。一、引言1. 不同的信源之间存在相关性2. 单个信源的消息之间存在相关性本节讨论(1) 多个信源的联合信息量问题；(2) 单个信源的实际信息量问题。重点讨论(1) 两个信源的联合情况；(2) 单个信源相邻两个消息之间有关联的情况。 后者将转化为前者来研究