CH离散信源及其信息测度.ppt

1.3.1单符号信源与多符号信源 单符号信源 信源的输出是单个符号的消息，可用一维随机变量X来描述。如投硬币等 多符号信源 信源的输出不是单个符号的消息，而是一系列符号组成的序列，可用多维随机变量序列来描述: 若信源的输出在时间上可用随机序列来描述: 且随机序列的各维分布与时间起点无关，也就是从任意时刻开始，随机序列的各维分布都是相同的，则称该信源为平稳信源。否则为非平稳信源。根据出现的符号数是否可数，也有连续与离散之分。 若Xi（i=1,2,3,…）独立同分布，则显然是平稳信源。 1.3.5 无记忆信源与有记忆信源 1.3.6离散无记忆信源的N次扩展 若信源的输出为 ，且每个分量 Xi是都取自同一离散信源X，相互间是独立的，则称随机矢量 组成的新信源为离散无记忆信源X的N次扩展信源，记为XN 。 若离散无记忆信源的概率空间为 1.3.7 波形信源 2. 离散信源的信息熵 2.1自信息量 信息的度量：收到消息后不确定性的减少量 收到某消息获取的信息量＝收到消息前关于某事件发生的不确定性－收到消息后对某事件发生的不确定性 在无噪声信道，收到消息后对某事件发生的不确定性为0，收到某消息获取的信息量＝收到消息前关于某事件发生的不确定性＝信源输出某消息所含的信息量（由于信道无耗损） 信源输出某消息ai所含的信息量就称为自信息量，记为I(ai)。 收到消息ai前事件发生的不确定性与事件发生的概率（先验概率）有关，可认为是概率的函数。因而自信息量是先验概率P(ai)的函数，即：I(ai)＝f(P(ai)) 几个例子 例1一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I(0)=I(1)=- log2 (1/2)=log22=1 bit 例4 英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。 解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 1）如果摸出的是红球，则获得的信息量是 I（x1 ）= -log2p（x1）= - log20.8 bit 2）如果摸出的是白球，则获得的信息量是 I（x2 ）= -log2p（x2）= -log20.2 bit 说明： 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np（x1）I（ x1）+np（x2）I（ x2）] = -[p(x1)log2p(x1)+p（x2 ）log2p（ x2 ）] 而由例7知：一个灰度图片提供得信息量为3 × 106 × 3.32 比特/画面 例8 有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100004000计算，平均每篇千字文可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32 1．3 × 104 比特／千字文 例9 设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p（x1）=1/2，p（x2）＝l／4，p（x3）＝1／4。 则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特/符号 [例] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。 解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量) ＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性) 已知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即 第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit