信源及信息熵.pptVIP

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 2.2.4 数据处理中信息的变化 数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小 假设Y条件下X和Z相互独立 数据处理定理 数据处理定理说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 三维联合集XYZ上的平均互信息量 2.2.5 熵的性质 1.非负性 H(X)＝H(p1，p2，…，pn)≥0 式中等号只有在pi =1时成立。 2.对称性 H(p1，p2，…，pn) = H(p2，p1，…，pn) 例如下列信源的熵都是相等的： 熵的性质 3.确定性 H(X)＝H(p1，p2，…，pn)≥0 只要信源符号中有一个符号出现概率为1,信源熵就等于零。 4.极值性(香农辅助定理) 对任意两个消息数相同的信源 熵的性质 5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即( pi＝1/M)熵最大。 2.3.1 离散无记忆信源的序列熵 发出单个