1.3Shannon信息的定义-教学课件.pdfVIP

Shannon信息的定义

什么是信息?

情报

广义信息：情报、知识、消息

知识消息

技术术语：计算机处理中的数据、文字

科学名词：统计数学、通信技术

–用严格的数学公式定义的科学名词，它与

内容无关，而且不随信息具体表现形式的

变化而变化，因而也独立于形式。

–是事物运动状态或存在方式不确定性的描述。

信源码字消息先消息后验概率

输出输出验概率

收到0收到01收到011

x10001/8√××

x20011/8√××

x30101/8√√×

x40111/8√√√

x1001/8×××

5

x1011/8×××

6

x1101/8×××

7

x1111/8×××

8

信息、消息和信号

•信息

–是事物运动状态或存在方式不确定性的描述。

•消息

–是指包含有信息的语言、文字和图像等。

•信号

–是消息的物理体现。

消息信号

信源码字消息先消息后验概率

输出输出验概率

收到0收到01收到011

x10001/8√××

x20011/8√××

x30101/8√√×

x40111/8√√√

x1001/8×××

5

x1011/8×××

6

x1101/8×××

7

x1111/8×××

8

Shannon信息定义

信源信道信宿