信息论与编码第2章信息的度量.ppt

信息论与编码 Information and Coding Theory 王永容机械与电气工程学院 wangyr416@126.com 2011年3月 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 2.1 信源的数学模型及分类 消息由符号、文字、数字、语言、音符、图片、图像等能够被人们感知器官所感知的形式组成的序列。 信息信息是包含在消息中的内容和意义，是通信系统传输的本质。 信号把消息变换成适合信道传输的物理量，这种物理量称为信号。如电信号、光信号、声信号、生物信号等。 三者关系通信系统传输的是信号，信号携带着消息，消息中包含着信息。 信源信源输出的消息用m表示。全体符号称为（语言的）符号集或字母集. 按照信源发出的时间和消息的分布分类 离散信源：信源发出消息的时间与消息的表示形式都是离散的。如：计算机输出的代码、文稿、人写的书信等 连续信源：信源发出消息的时间与消息的表示形式都是连续的。 如：语音、图像、图形等 符号集（或字母集）A＝a1, a2,…,an. 信源任何时刻输出的消息是A上的一个离散随机变量X 2.1 信源的数学模型及分类 例2.1 在英文通信中，符号集A包含英文字母、数字、标点符号等. 英文字母的概率分布为： 例2.2 在中文通信中，符号集A包含中文字（常取一级汉字）、外文字母、数字、标点符号等. 最常用的十个汉字的概率分布为： 2.1 信源的数学模型及分类 符号集A＝R 实数集. 信源任何时刻输出的消息是A上的一个连续随机变量XX＝X1, X2,X3…… N 为有限正整数或可数的无限值维离散信源:X＝X1, X2,…,XN, Xi i1,2,…,N 为离散随机变量 N 为有限正整数或可数的无限值维连续信源:X＝X1, X2,…,XN, Xi i1,2,…,N 为连续随机变量 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 随机事件的自信息量 自信息量self-information 自信息量self-information 2.2 离散信源的熵 自信息量的单位 对数以2为底log，单位为比特 bit, binary unit 对数以e为底ln ，单位为奈特 nat, nature unit 对数以10为底lg ，单位为哈特Hart, Hartley 单位转换 1 natlog e bit ≈1.433 bit 1 Hart≈3.322 bit 2.2 离散信源的熵 例2-3 设一个信源发出二进制码元0和1，如发0的概率为p01/4，发1的概率为p13/4，则符号0和1的自信息量分别为：I0 ?log21/42 bit，I1 ?log23/40.4 bit.如发0的概率p0发1的概率p11/2，则符号0 和1的自信息量为：I0 I1 ?log21/21 bit1自信息量的单位. 2.2 离散信源的熵 例2-4 英文字母中，pe 0.1031， pc 0.0218， px0.0013，则：Ie ?log0.10313.2779 bit，Ic ?log0.0218 5.5195 bit,Ix ?log0.00139.5873 bit. 符号ai与符号aj的联合自信息量： 条件自信息量 例2-5 设有两个离散信源集合 习题： 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 2.2 离散信源的熵 熵 entropy 2.2 离散信源的熵 例2-6. 设信源符号集Xx1, x2, x3，每个符号发生的概率分别为:px11/2, px21/4, px31/4，则信源熵为 2.2 离散信源的熵 例2-7 设二元信源X发出符号0和1，发0的概率为p，发1的概率为q，则 p+q1,HX Hp ?plogp ?qlogqplogp ?1?plog1?p 信源发出消息X： Iai|bjHX|bjHX|Y 2.2 离散信源的熵 例2-8 二进制通信系统使用符号0和1，由于存在干扰，传输时会产生误码。用X表示信源发出的符号，Y表示接收到的符号。假设 2.2 离散信源的熵—熵的性质 例2-8 2 已知发出的符号，求收到符号后得到的信息量HY|X. 2.2 离散信源的熵—熵的性质 例2-8