信息论第2章.ppt

上节复习 样本空间： 我们把某事物各种可能出现的的不同状态，即所有可能选择的消息的集合称为样本空间。 概率测度 对每个可能选择的消息指定一个概率，且每个概率为非负的，所有概率的和为1。 概率空间 样本空间和它的概率测度称为一个概率空间。 有记忆信源 例题：布袋中有100个球，其中有80个红球和20个白球。先取出一个球 (1)记下颜色后，放回布袋 (2)记下颜色后不放回布袋 问：取第二个球为白球的概率？ 组成消息的两个球的颜色之间有关联性，是有记忆信源。 离散信源的统计特性 (1)离散消息是从有限个符号组成的符号集中选择排列组成的随机序列。(组成离散消息的信源的符号个数是有限的)。如：英文字母 (2)在形成消息时，从符号集中选择各个符号的概率不同。如：在英文字母中，e出现的最多，z出现的最少。 (3)组成消息的符号之间有一定的统计相关特性。如：英文字母中h出现的概率约为0.04305，而h出现在t后面的情况非常多，出现在y后面的情况非常少。 上节复习 2、自信息的含义：当事件a发生前，表示事件a发生的不确定性；当事件a发生以后，表示事件a所含有(或提供的)信息量。 条件互信息 假设离散事件集X、Y、Z的事件为xi、yj、zk。在联合集XYZ中，事件yj