信息论与编码教程.pptxVIP

信息论与编码

第1章绪论

第1章绪论

1.1信息的概念

1.1.1信息科技促使人们对信息概念进行更深刻的剖析与理解

u如今，与ICT直接或者间接关联的技术、技术产品、技术服务及

技术规范，已经全面渗透到了人们的工作与生活。

u对任何ICT技术的深入学习、研发与应用，都难以回避知晓或理

解大量ICT名词所蕴含的学术与技术原理。

u各式各样的ICT技术概念与产品服务，艰深玄奥的信息科学原理

与方法，在带给人们获得科技福祉的同时，也带给人们认识信息

科技及信息概念的多种困扰，这些困扰的根源常常都是没有明确

解释“信息是什么”。

u因此，有必要通过交流和研讨去逐渐形成关于信息基本概念的共

识认知。

第1章绪论

1.1信息的概念

1.1.2信息是特定场景中的“信息”

u信息的本原意蕴需要结合信息处

理场景的分析才更容易获得充分

的理解。

u信息由信息的发生源（称其为信

源）发出，经由信息处理过程

（称其为信道）传递或推送给信

息处理的承载方或者接收方（称

其为信宿）

第一章绪论

1.1信息的概念

1.1.3信息的基本属性

u信息处理的基本特征与属性可以归纳为“老四性”与“新三性”。

信息处理的“老四性”界定了信息论研究的基础范畴，

（1）可行性（2）有效性（3）可靠性（4）安全性

u信息处理的“新三性”是在现代信息科学背景下对信息本原属性

的更深层次探索。

（1）本原性（2）时空性（3）效用性或者价值性或者赛博性

第1章绪论

1.1信息的概念

1.1.4信息的香农定义与维纳定义

u香农的信息定义：信息是信宿关于信源的不确定性。

u维纳的信息定义：信息是对信宿有效用的关于信源的不确定

性。

第1章绪论

1.2信息论的研究内容

1.2.1信息度量、信息熵与消息

对于离散信源

nn

H(X)p(xi)I(xi)p(xi)logp(xi)

i1i1

对于连续信源



H(X)p(x)logp(x)dx

xX

第1章绪论

1.2信息论的研究内容

1.2.2信息表征与数据压缩

信息表征的理论基础由香农信源编码定理（又称

为数据压缩定理或香农第一定理）给出，具体地，香

农信源编码定理又细分为无失真信源编码定理和限失

真信源编码定理。

对于无失真信源编码定理的简单解释是：压缩编

码序列长度的最小值等于压缩前序列长度乘以信源熵。

限失真信源编码定理指出了给定失真度限制条件

下的编码方法的存在性

第1章绪论

1.2信息论的研究内容

1.2.3信息传输、信道容量、调制与编码

信道传输特征由信道的熵特征确定；

条件熵完全界定了信道上消息的传输特征

信道传输的最大信息量为信道容量。

CmaxI(X;Y)maxH(X)H(X|Y)Imax(X;Y)

P(X)P(X)

BSC和AWGN信道上的信息传输原理是其他信道

上信息传输原理的基础；

第1章绪论

1.2信息论的研究内容

1.2.4信息安全、加密与认证

应对两类信息安全威胁，通常最可信的措施是

加密（通过消息数据加密实现信息隐私保护）和

签名（通过消息数据签名实现信息认证保护）。

应对信息认证安全威胁，即实现信息真实性与

完整性保护的途径主要有数字签名、消息认证码、

区块链等。

第1章

1.3从“香农贡献”洞悉信息科技

1.3.1香农的信息科技创新贡献

1936年硕士学位论文《继电器和开关电路的符号分析》；

1940年香农的博士学位论文《理论遗传学的代数学》；

1948年划时代成果《通信的数学理论》；

1.3.2香农培养的后起之秀与留存后世的至理名言

RobertG.Gallager于1963年在其博士论文中提出的“LDPC码”；

香农的一句至理名言是：“Ijustwonderedhowthingswereput

together（