应用信息论第2讲信源熵1.pptVIP

2 信源熵 本章重点：信源的统计特性和数学模型、各类信源的信息 测度—熵及其性质。 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 信息量和信息熵 2.1.3 熵的基本性质和定理 2.1.4 平均互信息 2.1.5 各种熵之间的关系 2.1.1 单符号离散信源的数学模型 (1) 信源的描述方法 (2) 单符号离散信源数学模型 (1) 信源的描述方法 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。 ① 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。 ② 连续信源：输出连续消息。可用随机过程描述。 (2) 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： X代表随机变量，指的是信源整体 xi代表随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。 n是有限正整数或可数无限大 2