信息论总复习-1.pptVIP

总 复 习 1 概论 2 信源及信息熵 3 信源编码 4 信道及信道容量 5 信道编码 6 信息率失真函数 7 考试情况 第1章 概论 信息与消息和信号的区别 消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。 信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。 信息是事物运动状态和状态改变的方式。 信息 信息是事物运动状态和状态改变的方式。 研究信息论的目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具，载荷信息的客体。 信息论的研究对象:通信系统模型. 第2章 信源熵 单符号离散信源 自信息量 用概率测度定义信息量，设离散信源 X，其概率空间为 如果知道事件 xi 已发生，则该事件所含有的自信息定义为 联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi)p(yj) 条件自信息量：已知yj 的条件下xi 仍然存在的不确定度。 自信息量、条件自信息量和联合自信息量之间的关系 互信息量：yj 对 xi 的互信息量定义为的后验概率与先验概率比值的对数。 平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/熵。 信息熵的意义：信源的信息熵 H 是从整个信源