信息论导论--第2章信源熵.ppt

要求 掌握自信息量的定义和计算； 掌握单符号离散信源熵的定义、计算和性质； 了解离散平稳信源联合熵、条件熵的定义和关系，掌握二维离散平稳信源联合熵和平均符号熵的计算； 掌握离散平稳无记忆信源（扩展信源）的特点，其联合熵、平均符号熵和极限熵的计算； 了解马尔科夫信源的特点和状态转移图表示，马尔科夫信源极限熵的计算过程，掌握一阶、二阶马尔科夫信源极限熵的计算。 概念繁多 （单符号 多符号）（离散 连续） 自信息量 联合自信息量 条件自信息量 互信息量 条件互信息量 熵 信源熵 条件熵 联合熵 最大离散熵定理 熵（entropy）的概念 1850年，德国物理学家鲁道夫·克劳修斯首次提出熵的概念 表示任何一种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越大。 1948年，香农在《通信的数学原理》一文中，将熵的概念引入信息论中。 熵指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。　 根据香农信息的概念，消息中具有不确定性的成分才是信息，不确定性的成分越大，或者说概率越小，信息量就越大，从这个意义判断，消息xi 具有更大的信息量。 * 信源熵 信源熵 * 2010年3月 信息论导论 通信与信息工程学院 杨海芬 信息如何度量？ 概率 信息量 熵* 一、单符号离散信源及其熵 如果任何时刻信源发出的消息都是单一符号，而这些符号取值于有限或可数的集合，则该信源为单符号离散信源。 第2章 离散信源及其熵 1、单符号离散信源 定义 符号X取值于集合 表示 例1 例2 例3 2、自信息量 假设单符号离散信源发出消息xi、xj 的概率P(xi) P(xj)，那条消息具有更大的信息量， xi 还是xj ？ 消息xi的概率P(xi)对数的负值为该消息的自信息量，用I(xi) 表示。 自信息量定义 表示 根据香农信息的概念，消息中具有不确定性的成分是信息，不确定性的成分越大，或者说概率越小，信息量越大。 单位由对数的底a决定——当a=2时为比特(bit，binary unit)*；a=e时为奈特(nat，nature unit)；a=10时为哈特(Hart，Hartley)。 以比特(bit)为单位的自信息量可记为 目前的通信系统多以二进制为基础，因此信息量的单位以bit最为常用。 非负值 I(xi)与xi的概率P(xi)相关， I(xi)是P(xi)的单调递减函数，且当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0 I(xi)是P(xi)的连续函数 如果P(xixj)=P(xi)P(xj)，则联合自信息量I(xixj)=I(xi)+I(xj) 自信息量的性质 0 1 P(xi) I(xi) 例2.1.1 信源各消息的自信息量 3、熵 信源各消息自信息量的数学期望为该信源的熵，也叫无条件熵，用H(X)表示。 定义 表示 单位一般是比特/消息(bit/message)，对单符号信源，是比特/符号(bit/symbol)。 一般情况下，H(X)并不等于每接受一条消息所获得的平均信息量。 H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量 H(X)表示信源的平均不确定性 4、熵的主要性质和最大熵定理 ①非负性 ②严格上凸性 严格上凸性的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果 则称函数f(x)为严格上凸函数。