信息论与编码-信源及信源熵.ppt

信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 而条件熵 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 它表示信源Y每发一个符号的前提下,信源X再发一个符号所能提供的平均信息量.我们称H(X|Y)为X的条件熵.相应地,有 它表示信源X每发一个符号的前提下,信源Y再发一个符号所能提供的平均信息量.我们称H(Y|X) 为Y的条件熵. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 联合熵： 定义为联合符号集合XY的每个元素对(xi,yj)的自信息量的概率加权统计平均值,因此X和Y的联合熵为 它表示X和Y同时发生的不确定度. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 熵的基本性质： 我们已经看到,熵是信源概率空间的一种特殊矩函数.这个矩函数的大小,显然与信源的符号数及其概率分布有关.可见,熵是p(x1),p(x2),…,p(xq)的q元函数,(实际上,因为∑p(xi)=1,所以独立变量只有q-1个,H是(q-1)元函数),一般可写成 H(P)=H(p1,p2,…,pq)=－∑pilogpi 我们称H(P)为熵函数. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 熵函数H(P)具有下列性质： （1）对称性.当变量的顺序任意互换时,熵函数 的值不变. （2）确定性.即H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0. 这个性质意味着从总体来看,信源虽然有不同的输出符号,但它只有一个符号几乎必然出现,而其它符号都是几乎不可能出现,那么,这个信源是一个确知信源,其熵等于零. 信息论与编码-信源及信源熵 信息论与编码--信源及信源熵 第二章 信源与信源熵 信源的分类 离散信源的数学模型 离散信源的信息度量 信息论与编码-信源及信源熵 信息论与编码--信源及信源熵 从这一章开始,我们从有效且可靠地传输信息的观点出发,对组成信息传输系统的各个部分分别进行讨论. 本章首先讨论信源,重点是信源的统计特性和数学模型,以及各类离散信源的信息测度——熵及其性质.这部分内容是香农信息论的基础. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 （一）信源的分类 信源的分类方法依信源特性而定,一般按照信源发出的消息在时间上和幅度上的分布情况,把信源分为： 连续信源：发出在时间上和幅度上都是连续分布的连续消息的信源； 离散信源：发出在时间上和幅度上都是离散分布的信源. 离散信源又可以细分为： 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 （1）离散无记忆信源：所发出的各个符号之间是相互独立的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的先验概率. （2）离散有记忆信源：发出的各个符号之间不是相互独立的,各个符号出现的概率是有关联的. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 也可以根据信源发出一个消息所用符号的多少,将离散信源分为： 发出单个符号的离散信源：信源每次只发出一个符号代表一个消息； 发出符号序列的离散信源：信源每次发出一组含二个以上符号的符号序列代表一个消息. 将以上两种分类结合,就有四种离散信源： 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 （1）发出单个符号的无记忆离散信源； （2）发出符号序列的无记忆离散信源； （3）发出单个符号的有记忆离散信源； （4）发出符号序列的有记忆离散信源. 一类重要的符号序列有记忆离散信源--马尔可夫信源:某一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 （二）离散信源的度量 §2.1 信源的数学模型及其分类 正如绪论中所述,在通信系统中收信者在未收到消息以前,对信源发出什么消息是不确定的,所以可用随机变量或随机矢量来描述信源输出的消息.或者说,用概率空间来描述信源. 信息论与编码-信源及信源熵 信息论与编码-信源及信源熵 离散信源的数学模型就是离散型的概率空间： 其中概率p(xi)(i=1,2,…,n)称为符号xi的先验概率,应满足∑p(xi)=1 它表示信源可能取的消息(符号)只有n个:x1,x2,…xn,而且每次必定取其中一个. 信息论与编码-信源及