通信原理第1章绪论x..pptVIP

* 设：离散信源是一个由n个符号组成的符号集， 每个符号xi(i=1, 2, 3, …, n)出现的概率为P(xi)，且有 P(xi)=1 非等概情况 传m个符号总信息量为：I=I1+I2+I3+……+Im I1、I2、……Im表示第1、2……m个所传符号的信息量 每个符号的平均信息量=I/m 则：x1, x2, …, xn 所含信息量分别为-log2P(x1), -log2P(x2)，…，-log2P(xn) m值很大时候，不容易计算 * H(x)=P(x1)［-log2P(x1)］+P(x2)［-log2P(x2)］+…+P(xn)［-log2P(xn)］ 设：离散信源是一个由n个符号组成的符号集， 每个符号xi(i=1, 2, 3, …, n)出现的概率为P(xi)，且有 P(xi)=1 由于H同热力学中的熵形式一样， 故平均信息量=信息源的熵，其单位为bit/符号。 非等概情况 每个符号所含信息量的统计平均值，即平均信息量为 则：x1, x2, …, xn 所含信息量分别为-log2P(x1), -log2P(x2)，…，-log2P(xn) * 此消息中，0出现23次，1出现14次，2出现13次，3出 现7次，共有57个符号， 思考：什么情况下，信源的熵有最大值？ [例1-2]一离散信源由0， 1， 2