吃饭的萨芬出手大方过va.ppt

电子科技大学 * 第2章 信息的度量 信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。 对于通信系统或其他信息传输系统，所传输的消息如何用信息量来描述？ 一个随机事件，它出现的各种结果包含着多大的信息量？ 一、自信息量(self-information) 为给出定量度量信息的方法，先讨论最简单的信源： 如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。 1、单符号离散信源(discrete source) 单符号离散信源的例子有掷骰子、简单的天气气象等。 由于这些符号的取值往往具有一定的概率分布，故可以将这些符号看作是随机事件。 用具有一定概率分布的随机事件来描述单符号离散信源是合适的。 因此，单符号离散信源的数学模型： 这样，掷骰子这一单符号离散信源可表示为： 而某一天简单的天气气象这一单符号离散信源则可表示为： 假设一个单符号离散信源，其输出被传递给信宿；如设p(x1)最大、p(xn)最小，问题是，输出那个结果包含更多的信息， 是x1还是xn ？ 2、自信息量 根据香农信息的概念，消息中所包含的不确定性的成分才是信息，因此，不确定性的成分越大，或者说出现的概率越小，信息量就越大；从这个意义上，输出xn包含更多的信息。 如果将离散信源输出xi 所包含的信息量用I(xi)来表示并将其称为xi 的自信息量，则其必须满足的条件是： ① I(xi)与输出xi的概率相关； ③ I(xi)是p(xi)的减函数，且当p(xi) =1时I(xi) =0 。 ② I(xi)是p(xi)的连续函数； 因此，xi 的自信息量的定义为： 自信息量是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)。 目前的通信系统或大多数信息传输系统都以二进制为基础，因此信息量的单位以bit最为常用。 以bit为单位的自信息量可记为： 3、自信息量的性质 ②I(xi)是非负值； ①I(xi)是随机量； ③I(xi)是p(xi)的单调递减函数。 例1，求掷骰子这一信源出现各种结果所包含的自信息量。 解：∵该信源的数学模型为 解： ∵该信源的数学模型为： 例2，求某一天简单的天气气象这一信源出现各种结果所包含的自信息量。 二、互信息量(muturl information) 为理解互信息量的概念，还是考虑最简单的通信系统： 信源 信道 信宿 如果设定信源、信宿为单符号离散信源和单符号离散信宿(discrete destination)，则信道为单符号离散信道(discrete channel)。 相类似，单符号离散信宿可表示为： 单符号离散信源可表示为： 1、单符号离散信道的数学模型 如果信道是无噪的，当信源输出xi ，信宿接收的也必是xi ，因此，信道的输出yj就等于输入xi 。 如果信道是有噪的，信号通过信道就会产生失真，此时，信道的输出yj一般不等于输入xi ，但它们之间会满足一定关系，由于噪声的随机性，用条件概率p(yj/xi)来描述这种关系是恰当的。 因此，单符号离散信道的数学模型可表示为： 2、互信息量 在有噪信道的情况下，由于 说明信宿接收到yj所包含的信息量除了与信源给出的信息有关外，还与信道给出的“信息”有关。 将信源输出xi 而信宿接收到yj所包含的信息量用I(yj;xi )来表示并将其称为xi对yj的互信息量，其定义为： 电子科技大学 * *