信息论第二章doc.ppt

* * 2.2.3 信息熵(Entropy) 定义自信息的数学期望为信源客观上的平均信息量，称为信源的信息熵(Entropy)。 2. 2 离散信源的信息熵 H(X)表示信源发出任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。 * * 2. 2 离散信源的信息熵 熵的物理意义： △熵的本意为热力学中表示分子状态的紊乱程度； △信息论中熵表示信源中消息状态的不确定度； △信源熵与信息量有不同的意义； (1)?H(X)表示信源X输出以后，每个消息(或符号)所能提供的平均信息量； (2) H(X)表示信源X在输出以前，信源的平均不确定度； (3) H(X)表示随机变量X的随机性； 我们借用熵的含义反映信源这个消息集合中的总体特征——平均不确定度。 * * 从数学来看，信息熵的引出仅仅由一个随机变量 的统计平均处理 所得到集合的统计平均值而已。但从物理意义上看，两者产生了性质的突变， 仍是一个随机变量 (variable); 而 已变成了常量(constant) ，它是代表集合的总体特征。 2. 2 离散信源的信息熵 信息熵与平均信息量的关系： 只有在无干扰的情况下，接收者准确无误的收到每一条消息后，同时也完全解除了它们的不定度时才能说接收者所获得的平均信息量等于信息熵。 所以一般来讲，信源的信息熵 H 并不等于接收者所获得的平均信息量。 因此我们讲信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。 * * 2. 2 离散信源的信息熵 [例2-4] 则信息熵分别为： * * 2. 2 离散信源的信息熵 [例2-5] 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的自信息量。 解： * * 2. 2 离散信源的信息熵 前提：摸一次球后再放回袋中，以不破坏概率试验条件，且一旦球拿出其不定度一定完全解除。所以，摸n次以后所得到的总信息量为： 若经算术平均处理后，则平均信息量为： 所以在此条件下才有平均信息量等于信息熵。 * * 2. 2 离散信源的信息熵 [例2-6]：求一个独立信源的熵 二元信源X:[0,1]，其概率空间[P(0),P(1)]=[ p, 1-p ] H(X)= - P(0)logP(0) - P(1) logP(1) =-plogp-(1-p)log(1-p)(bit) P(0)=0, P(1)=1, H(X)=0bit P(0)=1, P(1)=0, H(X)=0bit P(0)=P(1)=1/2, H(X)=1 bit 0 1/2 1 p H(x) * * 第2章 离散信源及其信息测度 2.3 信息熵的基本性质 信息熵是信源概率空间 的一种特殊矩函数。我们可用概率矢量P表示概率分布P(x) 熵函数可以表示为： * * 2. 3 信息熵的基本性质 性质1. 非负性 (non-negativity) 性质2.对称性 (symmetry) * * 性质3. 确定性 (deterministic) 2. 3 信息熵的基本性质 性质4. 连续性 (continuity) * * 2. 3 信息熵的基本性质 信源X’的熵为： 当微小波动趋于0时，有 * * 性质5. 扩展性 (expansibility) 2. 3 信息熵的基本性质 * * 本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。?? 虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。 2. 3 信息熵的基本性质 * * 可加性是熵函数的性质中最重要的一条性质，正因为有此性质才决定熵函数的形式必须要用对数形式。此性质的物理含义，即知识的可积累性。具体的讲：熵函数是作为一个集合中的总体平均不定度特征，应对集合中元素的如何划分是无关的。从另一方面看，可加性所反映的是任何复杂问题，都可以分步解决。 性质6. 可加性 ( Additive property ) 或： 2. 3 信息熵的基本性质 * * 2. 3 信息熵的基本