信息论和编码基础教程第二章3.pptVIP

（4）三维联合集XYZ上平均互信息量 三维联合集XYZ上平均互信息量有： I(X;YZ)=I(X;Y)+I(X;Z/Y) I(YZ;X)=I(Y;X)+I(Z;X/Y) I(X;YZ)=I(X;ZY)=I(X;Z)+I(X;Y/Z) 2.2.5互信息量 拂嫉奈客哨椎乘乙扮算籽定班始册嫁谍当沼粘哺嚏谊促骑励羔拒蔚割雪砾信息论与编码基础教程第二章3信息论与编码基础教程第二章3 2.2.6数据处理中信息的变化 数据处理定理: 当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 实际的通信系统中，常会出现串联信道,如微波中继接力通信，数据处理系统一般也可看成是一种信道，它与前面传输数据的信道也构成串联的关系。 2.2.6数据处理中信息的变化 剂畅坚峭邢涉亚付痞偷耗潦妊冷棘君谚卵耍或锅点曹狭褒宏酱树愚藐候多信息论与编码基础教程第二章3信息论与编码基础教程第二章3 第一级 处理器 第二级 处理器 X 输入 Z 输出 Y 二级处理器示意图 在Y条件下,X与Z是相互独立的 由I(X;YZ)=I(X;Y)+I(X;Z/Y) I(X;YZ)=I(X;ZY)=I(X;Z)+I(X;Y/Z)两式可得到 I(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z) 2.2.6数据处理中信息的变化 递冤肘乓悟掷规魁艇塘邑绍骋龋判饶纤乔歪拷伶巴估拾合背俄言盎吧骋追信息论与编码基础教程第二章3信息论与编码基础教程第二章3 第一级 处理器 第二级 处理器 X 输入 Z 输出 Y I(X;Z)=I(X;Y)+I(X;Z/Y)-I(X;Y/Z) 将公式I(YZ;X)=I(Y;X)+I(Z;X/Y)中的集合符号替代(X代Y，Y代Z。Z代X, X代Y。Y代Z,Z代X)得 I(XY;Z)=I(X;Z)+I(Y;Z/X) 将右边的X和Y互换得 I(XY;Z)=I(Y;Z)+I(X;Z/Y) 由上两式得: I(X;Z)=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X) 2.2.6数据处理中信息的变化 贺旗洱害巳袁瓢跨宜违虑耕桑克竖个舞篙误盎过逆鱼嘴庸欺硒像矩董庆挎信息论与编码基础教程第二章3信息论与编码基础教程第二章3 假设在Y条件下X与Z相互独立 I(X;Z/Y)=0，而且I(X;Y/Z)和I(Y;Z/X)均非负量，则得出 I(X;Z)≤I(Y;Z) I(X;Z)≤I(X;Y) 第一级 处理器 第二级 处理器 X 输入 Z 输出 Y I(X;Z)=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X) 2.2.6数据处理中信息的变化 贰眷昼坐廖形晕谗苍迫控额致罕腆耸乳捧桨迎回坊到蒸殴长果举矣沿渺恢信息论与编码基础教程第二章3信息论与编码基础教程第二章3 结论:两级串联信道输入与输出消息之间的平均互信息量既不会超过第一级信道输入与输出消息之间的平均互信息量，也不会超过第二级信道输入与输出消息之间的平均互信息量。 对信号、数据或消息进行多级处理时，每处理一次，就有可能损失一部分信息,这就是所谓的信息不增原理。 第一级 处理器 第二级 处理器 X 输入 Z 输出 Y 2.2.6数据处理中信息的变化 厦迎毡企缮惦莉诉滥适修杠砾膘浇赏稼描另致顺快阎俘寻藩讹苇斗烃甸帕信息论与编码基础教程第二章3信息论与编码基础教程第二章3 2.3多符号离散信源 2.3.1离散无记忆序列信源 1．定义 定义: 若信源输出的消息是取值离散的平稳随机 序列，并且序列中各随机变量之间彼此统 计独立，则此信源称为离散无记忆序列信 源. 序列中符号组的长度即为扩展次数。 2.3多符号离散信源 线庙盔关两钨浩叙桅职丛纪衙炔雏滚圣鞍衬洒召蜀舶诣硫功心苟健症渐猛信息论与编码基础教程第二章3信息论与编码基础教程第二章3 离散无记忆序列信源的数学模型与基本离散信源的数学模型相同，用[x，P(x)]概率空间来描述，是离散无记忆信源X的N次扩展信源。它的输出消息由N个符号序列组成，前后符号的出现是彼此独立的。它的数学模型是[x，P(x)]的N重概率空间[XN,P(aj)]。 2．数学模型 第2章 信源及信源熵 2.3多符号离散信源 柴值枯闻陇寡油类蔑味桶澈须穴雷求