《信息论与编码基础》绪论分析.pptVIP

概率空间：一个样本空间 X={a1, a2, …, aq} 和它的概率测度P(X)={P(a1), P(a2), …, P(aq)}统称为一个概率空间，可用 [X, P] 来表示： 先验概率：选择符号 ai 作为消息的概率 P(ai) 称为先验概率。 自信息：在接收端，选择 ai 作为消息（猜测事件 ai 发生）的不确定性与 ai 作为消息的先验概率成反比，表示为 ： 称为 ai 的自信息。自信息描述了 ai 本身携带的信息量，与接收端无关。 1.2 香农信息概念 后验概率：接收端收到的消息(符号)为 bj ，而发送端发的是 ai 的概率 P(ai/bj) 称为后验概率。后验概率反映了在接收端收到的消息(符号)为 bj 后，对于发送端发送的是 ai ，尚存在不确定性。类似地，这种不确定性描述为： 互信息：收信者收到消息(符号) bj 后，将事件 ai 先验的不确定性（自信息）减去尚存在的不确定性定义为互信息： 互信息被认为是此时收信者获得的信息量。 1.2 香农信息概念 如果信道没有干扰，信道的统计特性使 ai 以概率“1”传送到接收端。这时，收信者接到消息后尚存在的不确定性等于零，即 P(ai/bj)＝1，log(1/P(ai/bj))＝0，尚存在的不确定性全部消除。此时互信息等于自信息： 对于必然事件 ai，P(ai)=1，其自信息 I(ai)=0。可以解释为收信者早已确知