信息论与编码第二版第2章.pptxVIP

2.2 离散信源熵和互信息2.2.1 自信息量2.2.2 离散信源熵要求：1. 掌握自信息量、联合自信息量和条件自信息量的含义和计算方法； 2. 掌握单符号熵、条件熵与联合熵的含义和计算方法。第1页，共33页。2.2.1 自信息量 信源发出某一符号 后，它提供多少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。 第2页，共33页。1. 定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。 如：定义为具有概率为p(xi)的符号xi的自信息量为 I (xi)= - log p(xi) 说明：自信息量的单位与所用的对数的底数有关。 对数底数为2，信息量单位为比特（bit）； 对数底数为e，信息量单位为奈特（nat）； 对数底数为10，信息量单位为笛特（det）； 3个信息量单位之间的转化关系为： 1 nat = log2 e = 1.433 bit 1 det = log210 = 3.322 bit第3页，共33页。2. 随机事件的不确定性 出现概率大的随机事件，包含的不确定性小，即自信息量小； 出现概率小的随机事件，包含的不确定性大，即自信息量大； 出现概率为1的随机事件，包含的不确定性为0，即自信息量为0；第4页，共33页。3. 不确定度