信息论理论基础2(1007).ppt

信息论基础第2章 基本信息论 韩宇辉 第2章 基本信息论 2.1 信息度量 2.2 离散信源的熵 2.3 二元联合信源的共熵与条件熵 2.4 连续信源的熵 2.5 熵速率和信道容量 2.6 离散有噪声信道的熵速率和信道容量 2.7 连续有噪声信道的熵速率和信道容量 2.8 使信源与信道匹配的编码 2.1 信息度量 2.1.1 信息度量的必要性 通信的目的是为了传递信息。单位时间内信道所传递的信息量称为传信率，它是衡量通信系统性能的重要指标之一。为了得出通信系统的传信率，必须对消息或信源所含有的信息有一个数量上的度量方法这就是我们研究信息度量的目的。 2.1.2 信源的不确定性 1. 研究不确定性的目的 【例】A. 明天太阳将从东方升起。 B. 明天小张会给小王打电话。 C. 明天上午小张会给小王打电话。 2.不确定性的度量——不确定程度 不确定程度可以直观理解为猜测某些随机事件的难易程度。 【例】布袋中有100个小球，大小、重量、手感完全相同，但颜色不同。从布袋中任取一球，猜测其颜色。 A. 99个红球，1个白球； B. 50个红球，50个白球； C. 25个红球，25个白球，25个黑球，25个黄球。 3.不确定程度基本关系式——Hartley公式 若信源X等概分布，则其不确定程度H(x)与概率P