第2章_信源熵及其基本性质和定理.pptVIP

第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 一、信息量 1、自信息量；2、联合自信息量；3、条件自信息量 二、互信息量和条件互信息量 1、互信息量；2、互信息的性质；3、条件互信息量 三、信源熵 1、信源熵；2、条件熵；3、联合熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系 自信息量不能作为信源的信息测度 自信息量 是指某一信源X发出某一信息符号 所含有的信息量。发出的信息符号不同，它们所含有的信息量就不同。 信源发出的每个信息符号概率相同 —状态等概Hn=nH1 信源发出的每个信息符号概率不相同—各状态不等概？ 信源发出的信息符号可用随机事件来描述。 信源可以用一个概率空间来描述。 自信息量是一个随机变量，它反映了信源发出某一信息符号的不确定性，不能反映整个信源的不确定性。它不能用来作为整个信源的信息测度。 信源的概率空间描述 一个信源可以用一个概率空间来描述。 信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述： 其中： X是信源的状态空间，为一个离散集，表示了随机事件的状态数； P(X)是随机事件各种可能状态的概率分布，且ΣP(x)=1， 各状态是相互独立的。 通常记为{X,P(x)} 信源的不确定度举例 通过举例说明，分析整个信源的不确定性。 有一个布袋，装有100个对手感觉一样的球，但颜色不同，每种颜色球的数量也不同。随意从中拿出一球，猜测球的颜色。 1、90个红球，10个白球 ---容易猜测 2、50个红球，50个白球---较难猜测 3、红、白、黑、黄球各25个---更难猜测 容易看出：信源的不确定度与信源所包含的随机事件的可能状态数目和每种状态的概率有关。 信源不确定度的几个结论 关于信源不确定度的几个结论： 信源的不确定程度与信源概率空间的状态数及其概率分布有关 如果信源概率空间的状态数确定，概率分布为等概时，不确定程度最大 等概时，不确定程度与信源概率空间的可能状态数（或相应的概率）有关，状态数越多（或相应的概率越小），不确定程度就越大。 信源的不确定程度可以用信源概率空间的概率分布来描述。通常记为H(X)=H(p1, p2,...pN) 对于上面的例子，有 H3(1/4,1/4,1/4,1/4) H2(1/2,1/2) H1(0.90,0.10) 平均自信息量—信息熵 自信息量是一个随机变量，它反映了信源发出某一信息符号的不确定性。它不能用来作为整个信源的信息测度。信源的不确定程度可以用信源概率空间的概率分布来描述。这样，我们引入平均自信息量，即信息熵 定义 2.1.6 集X上，随机变量I(xi)的数学期望定义为平均自信息量 集X的平均自信息量又称做是集X的信息熵，简称做熵。含义上信息熵与热熵有相似之处。 平均不确定性 集X的平均自信息量表示集X中事件出现的平均不确定性 在观测之前，确定集X中出现一个事件平均所需的信息量； 观测之后，集X中每出现一个事件平均给出的信息量。 例： 信息熵的单位 离散集X信息熵的单位取决于对数选取的底。 如果一个离散集X的概率分布为n个状态等概，选取对数底为n，由信息熵定义 可以说此集合X包含了1个n进制单位的信息量，用一个n进制的数就可以表示此集合的信息。 在现代数字通信系统中，一般采用二进制的记数方式。在信息熵的计算中也多采用以2为底的方式，且默认记为H(X)。由对数公式可以得到r进制与二进制之间的关系： 信源熵与平均自信息量 信源熵与平均自信息量数值相等，含义不同 信源熵表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信息的度量； 信源熵H(X)的三种物理含义： 表示信源输出后，每个离散消息所提供的平均信息量； 表示信源输出前，信源的平均不确定度； 反映了变量X的随机性。 条件熵 定义 2.1.7 联合集XY上，条件自信息量I(x|y)的概率加权平均值定义为条件熵。其定义式为 上式称为联合集XY中，集Y相对于集X的条件熵。 条件熵又可写成 式中取和的范围包括XY二维空间中的所有点。这里要注意条件熵用联合概率p(xy)，而不是用条件概率p(y|x)进行加权平均。 为什么条件熵要用联合概率进行加权平均？ 联合熵 定义 2.1.8 联合集XY上，每对元素的自信息量的概率加权平均值定义为联合熵。 根据联合自信息量的定义，联合熵又可定义为 联合熵又可称为共熵。 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及