《信息论与编码》_第7章网络信息论初步.pptxVIP

网络信息论简介

■网络信息论简介;

网络信息论简介

■网络信息论与普通信息论的对照

■本章主要内容概述;

网络信息论与普通信息论的对照

■普通信息论的研究模型：

信源信息信道信息信宿

干扰

噪声源

特点：一个信源；

一个信宿；

一个通道。;

网络信息论与普通信息论的对照

■网络信息论的研究模型：

通信网络

■特点：多个信源；

多个信宿；

传输通道是网络式。;

网络信息论与普通信息论的对照

■基本问题：网络信息论的基本问题仍然是有

效性和可靠性。;

网络信息论与普通信息论的对照

■有效性：

普通信息论：有效性的极限是信源熵HX);

网络信息论：当考虑多个信源之间有合作时，

有效性的极限是联合熵

H(X,Y)=H(X)+H(Y/X)

—分布式压缩；;

网络信息论与普通信息论的对照

■可靠性：

普通信息论：可靠传输的极限是信道容量；

网络信息论：当传输通道是网络式的情形，通

信容量问题更复杂(如最大流-最小割定理等),也需要考虑特殊的编码(网络编码)。;

网络信息论与普通信息论的对照

■网络信息论与传统信息论的内容对照

1.分布式无损压缩(对照普通信息论的信源与信源熵：第2章、第5章)

网络编码(对照普通信息论的信道编码：第3章、第6章);

本章主要内容概述

由上面的分析，本章主要包括：

1.网络信息论的基本概念、分类；2.分布式压缩；

3.网络编码。;

网络通信的分类

■网络通信的分类;

网络通信的分类

■按信源信宿的数目分：

多播通信：一个信源，多个信宿。

广播：一个信源，任意多个信宿。信源发

送的信息不针对特定信宿。

网络通信：多个信源，多个信宿。;

网络通信的分类

■按信源到信宿是否有中继分：

单跳通信：信源通过信道直接和信宿通信，

不需要中间节点接力。

多跳通信：也叫做中继通信。信源通过中

间节点接力，实现与信宿通信。每一次中间节点接力，叫做一跳。实现接力的中间节点，叫做中继节点。;

网络通信的分类

■中继??信又可以细分为两类：

放大转发：中继节点直接将接收到的来自

信源的有噪信号进行放大，并将其发送给后续目的节点。

解码转发：中继节点收到前序节点发来的

信号后，先对接收到的信号进行解调和解码，然后将数据重新进行编码调制后发给后续节点。;

分布式压缩

■分布式压缩;

Figure10.1.Distributedlosslesscompressionsystem.

如上图所示的网络通信情形，存在两个及以上未经压缩的信源。如果要求接收端能够无损地恢复两个信源，最小的总传输速率是多少?这就是分布式压缩问题。;

分布式压缩

■二元离散无记忆信源的分布式压缩

定义：若有一个速率对(R?,R?),R?是X?的传输

速率，R?是X?的传输速率：

可使接收端无损地恢复两个信源(X?,X?),则称速率对(R?,R?)对分布式无损信源编码是可达的。

则可达速率对(R?,R?)满足下图所示的界：;

分布式压缩

R?

Outerbound

Innerbound

H(X?);

分布式压缩

简单解释如下：

1.当R?H(X?)时，只要R?=H(X?/X),就有可能实现无损解压缩；

2.当R?H(X?时，只要R?=HX?/X?,就有可能实现无损解压缩；

3.当R?H(X?)时，则需要R?=H(X?,X?-R?,即

R?+R?=HX,X?),才有可能实现无损解压缩

O

这三段线段组成了所谓的外界(OuterBound);

分布式压缩

另一方面：

只要R?H(X)并且R?HX?,则一定可以实现无损解压缩。

这两段线段组成了所谓的内界(InnerBound);

分布式压缩

内界可以理解为两个信源不需要合作，实现无损解压缩所需的条件；

而外界则是当两个信源有合作时的情形。;

分布式压缩

■有协助的无损压缩

问题：如果图中接收者只需要无损恢复其中一个信源(例如X),而另一个信源(协助者，Y)的编码器向解码器提供经编码的边信息来帮助降低第一个编码器的码率。那么,X所需要传输的信息率是多少?;

H(XIY)H(X)R?

Figure10.6.Innerandouterboundsontheoptimalrateregionforlosslesssource

codingwithahelper.;

分布式压缩