第3讲——离散信源的数学模型及其信息测度.pptVIP

名称 符号 图 示 无条 件熵 条件 熵 联合 熵 平均互信息 平均互信息与熵之间的关系 基本关系式 用维拉图理解 H(X) H(Y) H(Z) A B C D E F G A+B+C C A+B 系统1 系统2 X Y Z 两级串联信道的情况 X-Y-Z构成Markov链 当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 信息处理定理 基本关系式 证明： 由联合互信息定理，可得 对此系统而言，有 因而 再由条件互信息的非负性，可得 又 因而可得 系统1 系统2 X Y Z 编码器 信道 信源输出： U X Y 通用的通信系统 注：由数据处理定理，数据处理过程中只会失掉信息，绝不会创造出新的信息，正所谓信息不增性。 数据处理定理 译码器 V 小结 信源的hu平均自信息量-信源熵 定义：自信息的数学期望 含义：几种解释 与联合熵、条件熵之间的关系 27个硬币中有一个重量偏轻，其它26个为标准重量。试用信息量观点分析在不用砝码的天平上至少称多少次，就能发现这个轻的硬币？怎样称？ 思考: 设有4枚同值硬币，其中1枚硬币可能是假币，如是假币，其重量与真币不同，但不知比真币轻还是重。现在给你一部没有砝码的天平和1枚真币，要求你回答有无假币？如有假币要求找出那枚假币，并指出那枚假币是比真币轻还是重？试用信息量观点分析最少需称多少次才能保证一定能找出那枚假币，并给出具体称法。 思考: 作业 2.10 2.11 2.13 2.14 2.18 第三讲 离散信源的数学模型及其信息测度(Ⅱ) Review 自信息、联合自信息量、条件自信息量 信源熵（信息熵） 定义：自信息的数学期望 Review 含义 消除信源不确定度所需要的信息量 信源输出所提供的平均信息量 无错编码所需的最小编码长度 熵、条件熵、联合熵关系 Review 熵的基本性质 概率矢量 熵函数 Review 非负性 H(X)≥0 Review 对称性 信源熵与各概率分量对应的状态顺序无关。 确定性 扩展性 极值性——最大离散熵定理 等概信源的不确定性最大 第三讲 离散信源的数学模型及其信息测度(Ⅱ) 设信源输出的随机序列为 X =(X1X2…Xl…XL) 序列中的变量Xl∈{x1,x2,… xn} 离散无记忆信源 离散无记忆信源: 离散信源的序列熵 信源的序列熵 平均符号熵 离散无记忆信源 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 即用 1比特就可表示该事件。 如果以两个符号出现(L=2的序列)为一事件，则随机序列X∈(00,01,10,11)，信源的序列熵 即用2比特才能表示该事件。 信源的符号熵 离散无记忆信源实例 a0 a1 a2 a0 9/11 2/11 0 a1 1/8 3/4 1/8 a2 0 2/9 7/9 例:已知离散有记忆信源中各符号的概率为: 设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表 p(aj|ai) 离散有记忆信源实例 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 a0 a1 a2 a0 1/4 1/18 0 a1 1/18 1/3 1/18 a2 0 1/18 7/36 离散有记忆信源实例 发二重符号序列的熵 平均符号熵 符号之间存在关联性 比较 有记忆信源实例 而信源X的信息熵为 条件熵 若信源输出一个L长序列，则信源的序列熵为 平均符号熵为 极限熵 离散有记忆信源的极限熵 （1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增 离散平稳信源特点 （3）平均符号熵HL(X)随L的增加非递增 （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） 对于平稳信源 故 H (XL|X1X2···XL-1) 随L非递增 （1）条件熵H (XL|X1X2···XL-1) 随L的增加非递增 离散平稳信源特点 （3）平均符号熵HL(X)随L的增加非递增 （2）L给定时, H L(X)≥ H (XL|X1X2···XL-1) （4） H L(X)≥ H (XL|X1X2···XL-1) 根据性质1 随L非递增 故 （1）条件熵H (XL|X1X2···XL-1)