信息论第三讲.pptVIP

信息熵 熵 条件熵 联合熵 1.信息熵 2.1.2 信息熵 已知单符号离散无记忆信源的数学模型 定义：各离散消息自信息量的数学期望，即信源的平均信息量。 信源的信息熵；香农熵；无条件熵；熵函数；熵 单位：比特/符号 例:某地二月份天气构成的信源为 由定义，该信源的熵为 总括起来，信源熵有三种物理含义： 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。 信源熵H(X)表示信源输出前，信源的平均不确定度。 信源熵H(X)反映了变量X的随机性。 1 2 3 例：有三个信源X，Y，Z，其概率空间为 可见 H(X)H(Y)H(Z)，信源符号的概率分布越均匀，则平均信息量越大，信源X比信源Y平均信息量大，Z是确定事件，不含有信息量。 例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不同的千字文篇数为N=100001000=104000篇，按等概计算，平均每篇千字文可提供的信息量？ 2.条件熵 思考：求条件熵时为什么要用联合概率加权？ 例:已知X，Y∈{0，1}，XY构成的联合概率为：p(00)=p(11)=1/8，p(01)=p(10)=3/8,计算条件熵H(X/Y)。 3.联合熵 1 2.1.3 信息熵的性质 证明：随机变量X的概率分布满足0≤p(xi)≤1， log2p(xi) ≤0，所以H(X)≥0 因每一项非负，所以必须是每一项为