信息论及理论基础.ppt

信息论基础第2章 基本信息论 韩宇辉 第2章 基本信息论 2.1 信息度量 2.2 离散信源的熵 2.3 二元联合信源的共熵与条件熵 2.4 连续信源的熵 2.5 熵速率和信道容量 2.6 离散有噪声信道的熵速率和信道容量 2.7 连续有噪声信道的熵速率和信道容量 2.8 使信源与信道匹配的编码 2.1 信息度量 2.1.1 信息度量的必要性 通信的目的是为了传递信息。单位时间内信道所传递的信息量称为传信率，它是衡量通信系统性能的重要指标之一。为了得出通信系统的传信率，必须对消息或信源所含有的信息有一个数量上的度量方法这就是我们研究信息度量的目的。 2.1.2 信源的不确定性 1. 研究不确定性的目的 【例】A. 明天太阳将从东方升起。 B. 明天小张会给小王打电话。 C. 明天上午小张会给小王打电话。 2.不确定性的度量——不确定程度 不确定程度可以直观理解为猜测某些随机事件的难易程度。 【例】布袋中有100个小球，大小、重量、手感完全相同，但颜色不同。从布袋中任取一球，猜测其颜色。 A. 99个红球，1个白球； B. 50个红球，50个白球； C. 25个红球，25个白球，25个黑球，25个黄球。 3.不确定程度基本关系式——Hartley公式 若信源X等概分布，则其不确定程度H(x)与概率P满足： P越大，则H(x)越小； 当P =1时，则H(x) =0； 当P =0时，则H(x) =∞ ； 信源不确定程度应具有可加性。 若X与X’相互独立，则H(x, x’)=H(x)+ H(x’) 对数可以取2、e、10为底，相应不确定程度的单位分别为比特(bit)、奈特(nat) 、哈特莱(Hartley) 。 不等概情况： 消息xi的不确定程度 2.1.3 信息量 1.概率基本关系式 (1) (2) (3) (4) (5) 当X和Y相互独立时， (6) 2.信息量的定义： 收信者收到一个消息后，所获得的信息量等于不确定度的减少量。 3. 自信息量 在没有噪声的情况下，信源发出xi 接收者就会收到xi。这时接收者收到的信息量就等于xi本身含有的信息量，称为信源状态xi的自信息量，记为I(xi)。 收到xi前对xi的不确定程度：H(xi) 收到xi后对xi的不确定程度：0 自信息量 【例】一次掷两个色子，作为一个离散信源，求下列消息的自信息量。 a.仅有一个为3； b.至少有一个为4；c.两个之和为偶数。 解：p(a)=10/36=5/18 p(b)=11/36 p(c)=18/36=1/2 I(a)=log(18/5)=1.848 (bit) I(b)=log(36/11)=1.7105 (bit) I(c)=log2=1 (bit) 4.互信息量： 在有噪声信道下，假设信源发出的状态为xi，接收者收到的状态为yj。接收者收到yj后，从yj中获取到关于xi的信息量，就是信源发出xi后接收者收到的信息量，称为互信息量，记为I(xi, yj)。 【例1】某电报系统发送传号M和空号S的概率相等，即P(M)=P(S)=1/2。由于信道中噪声的影响，使1/6的传号收成空号，而半数的空号收成传号。问收信者收到一个符号后所获得的平均信息量是多少？ 解：1.计算先验概率、联合概率和后验概率 发送符号： 接收符号： x1：发M，x2：发S，y1：收M，y2：收S p(x1)=1/2，p(x2)=1/2 2.计算收到一个消息所获得的信息量 3.计算收到一个消息所获得的平均信息量 2.2 离散信源的熵 1.离散信源 离散信源是指只能输出有限数量消息(状态)的信源。 2.离散信源的熵 信源输出一个消息(状态)所提供的平均信息量或信源的不肯定程度称为信源熵。 【例1】计算只能输出“1”和“0”两个消息(状态)的简单二元信源的熵。 解：假设p(1)=p, p(0)=1-p(0≤p≤1) (1)当p=1/2时，H(x)=1bit/符号 (2)当p=0或p=1时，H(x)=0 3. 熵函数的性质 (1) 非负性 H(x) ≥0 由于 0≤p(xi)≤1 所以 log p(xi) ≤0 因此有 H(x)≥0 (2) 对称性 (3) 确定性 (4) 极值性 且N越大，Hmax(x)越大——离散信源的最大熵定理 证明： 作辅助函数