第2章-3信息.pptVIP

* 维拉图 H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X;Y) * 条件熵 H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息量的损失。 信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声熵，散布熵 它反映了信道中噪声源的不确定性。 输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。 * 收发两端的熵关系 I(X;Y) H(X) H(Y) H(X/Y)疑义度 H(Y/X)噪声熵 * 若信道是无噪一一对应信道,信道传递概率： 计算得: * 若信道输入端X与输出端Y完全统计独立 则: * 第一级处理器 第二级处理器 X Y Z 输入 级联处理器 2.2.4 数据处理中信息的变化 数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小 假设Y条件下X和Z相互独立 * 数据处理定理 数据处理定理说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 * 三维联合集XYZ上的平均互信息量 * 2.2.5 熵的性质 1.非负性 H(X)＝H(p1，p2，…，pn)≥0 式中等号只有在pi =1时成立。 2.对称性 H(p1，p2，…，pn) = H(p2，p1，…，pn) 例如下列信源的熵都是相等的： * 熵的性质 3.确定性 H(X)＝H(p1，p2，…，pn)≥0 只要信源符号中有一个符号出现概率为1,信源熵就等于零。 4.极值性(香农辅助定理) 对任意两个消息数相同的信源 * 熵的性质 5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即( pi＝1/M)熵最大。 6.条件熵小于无条件熵 * 习题 2-13 2-16 * 信源与信息熵 第二章 * 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度 内容 * 2.2 离散信源熵和互信息 * 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ * 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ * 自信息量 设离散信源X，其概率空间为 I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量 * 自信息量 自信息量 条件自信息量 联合自信息量 * 离散信源熵 离散信源熵H(X) 信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不确定性。 信息熵H(X)反映了变量X的随机性 。 * 信源熵 无条件熵 条件熵 联合熵 * 2.2.3 互信息 设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合 有扰信道 干扰源 信源X 信宿Y * 互信息 如果信道是无噪的,当信源发出消息xi后,信宿必能准确无误地收到该消息,彻底消除对xi的不确定度,所获得的信息量就是xi的不确定度I(xi),即xi本身含有的全部信息。 一般而言,信道中总是存在着噪声和干扰,信源发出消息xi,通过信道后信宿只可能收到由于干扰作用引起的某种变型yj 。 信宿收到yj 后推测信源发出xi的概率p(xi|yj)称为后验概率。 信源发出消息xi的概率p(xi) 称为先验概率。 * 互信息 互信息 定义为 xi的后验概率与先验概率比值的对数 互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。 * 例某地二月份天气 构成的信源为： 若得知“今天不是晴天”,把这句话作为收到的消息y1 当收到y1后,各种天气发生的概率变成后验概率了 p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4 求得自信息量分别为 * 表明从y1分别得到了x2 x3 x4各 1比特的信息量。 消息y1使x2 x3 x4的不确定度各减少1bit 。 * 例2-8:一个