信息论与编码new.pptVIP

* 若信道输入端X与输出端Y完全统计独立 则: * 【例】已知信源消息集为X 0,1 ,接收符号集为Y 0,1 ，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率 , 计算平均互信息量I X;Y 。 0 1-ε 0 1 1-ε 1 图 二进制对称信道 ε ε 记 q x 为信源输入概率；q 0 q 1 0.5 ω y 为信宿输出概率； p y︱x 为信道转移概率； φ x︱y 为后验概率。 * 第一级处理器 第二级处理器 X Y Z 输入 级联处理器 2.2.4 数据处理中信息的变化 数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小 假设Y条件下X和Z相互独立 * 数据处理定理 数据处理定理说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 * 2.2.5 熵的性质 1.非负性 H X ＝H p1，p2，…，pn ≥0 式中等号只有在pi 1时成立。 2.对称性 H p1，p2，…，pn H p2，p1，…，pn 例如下列信源的熵都是相等的： * 熵的性质 3.确定性 H 10 ＝H 100 H 10…0 0 只要信