信息论的基本概念.pptVIP

本章的主要问题

0102

信息如何表示?如何度量?信息论的基本概念

2.1离散随机变量的熵

02

04

香农熵与热力学熵

熵函数的性质05

的关系03

01联合熵和条件熵

熵可以作为信息的

熵的引入

度量（熵的物理意

义）

2.1.1熵的引入-1

问题1：

信息无处不在，但：信息用什么表示？如何表示？

“信息是事物运动状态或存在方

式的不确定性的描述”

不确定性＝携载的信息－－香农

信息是随机的

可用随机变量的不确定性或随机性作为信息的表示

2.1.1熵的引入-2

问题2：

2.1.1熵的引入-3

0102

研究思路一：研究思路二：

自信息－－概率空间的平直接定义

均自信息－－熵

研究思路一

自信息：

分析信息的特征，信息量（消息）关系式应反映如下规律：

（1）信息量是概率的非负函数，即

I=f［P(x)］

（2）P(x)越小，I越大；反之，I越小，且

P(x)→1时，I→0

P(x)→0时，I→∞

（3）若干个互相独立事件构成的消息，所含信息量等于

各独立事件信息量之和，也就是说，信息具有相加性，即

［］［］［］

IP(x1)P(x2)…=IP(x1)+IP(x2)+…

自信息：

信息量的直观定义：

l收到某消息获得的信息量＝不确定性减少的量

○＝(收到此消息前关于某事件发生的不确定性)

○(收到此消息后关于某事件发生的不确定性)

l在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到

此消息后关于某事件发生的不确定性完全消除，此项为零。因此得

○收到某消息获得的信息量

○＝收到此消息前关于某事件发生的不确定性

○＝信源输出的此消息中所含有的信息量

自信息：

f[p(x)]log1

01ip(xi)02

可以用泛函分析方法解得