信息论 总复习.pptVIP

总 复 习;信息与消息和信号的区别 消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。 信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。 信息是事物运动状态和状态改变的方式。;信息 信息是事物运动状态和状态改变的方式。 研究信息论的目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具，载荷信息的客体。;编码器;单符号离散信源 自信息量 用概率测度定义信息量，设离散信源 X，其概率空间为 如果知道事件 xi 已发生，则该事件所含有的自信息定义为 ;联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi)p(yj);条件自信息量：已知yj 的条件下xi 仍然存在的不确定度。 自信息量、条件自信息量和联合自信息量之间的关系;互信息量：yj 对 xi 的互信息量定义为的后验概率与先验概率比值的对数。;平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/熵。 信息熵的意义：信源的信息熵 H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵是唯一的。不同的信源因统计特性不同，其熵也不同。;条件熵：是在联合符号集合 XY 上的条件自信息的数学期望