工学信息论与编码第章new.pptVIP

信源与信息熵 第二章（第3讲） 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 2.2.3 互信息 设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合 平均互信息 H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息量的损失。又可看作由于信道上存在干扰和噪声，接收端获得Ｙ后还剩余的对信源Ｘ的平均不确定度，故又称为疑义度。 信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声熵，散布熵 它反映了信道中噪声源的不确定性。 输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。 收发两端的熵关系 平均互信息与各类熵的关系 三个变量的互信息量 在有3个变量的情况下,符号xi与符号对（yj , zk）之间的互信息量定义为 2.2.4 数据处理中信息的变化 数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小 说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 假设Y条件下X和Z相互独立 2.3.1 离散无记忆信源的序列熵 随机序列的概率为 离散无记忆信源的序列熵 信源的序列熵 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时： 2.3.2 离散有记忆信源的序列熵 离散平稳信源的序列熵 马尔可夫信源的信息熵 离散平稳信源的序列熵 二维离散平稳信源 （1）后一个符号只与前一个符号有关联； （2）不随时间推移而变化； （3）并假设组与组之间是统计独立； 离散平稳信源的序列熵 离散平稳信源的序列熵 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为: 若信源输出一个L长序列,则信源的序列熵为 离散平稳信源 对于离散平稳信源,有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。 ⑶ HL(X)是L的单调非增函数 HL(X)≤HL-1(X) ⑷ 马尔可夫信源的信息熵 马尔可夫信源 例 三状态马尔可夫信源 2.4.1 单符号连续信源的熵 2.4.1 单符号连续信源的熵 一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵为： 由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。 这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。既然如此，那么为什么还要那样来定义连续信源的熵呢？ 一方面，这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）； 另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵　 称为相对熵或差熵，以区别于原来的绝对熵。 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，如非负性。 例 2.4.2 波形信源的熵 2.4.3 最大熵定理 （2）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率，即方差 ），则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 . 高斯分布（正态分布）：