量子信息学导论 课件 第3章 量子信息论基础(1).pptx

第3章量子信息论基础

3.1熵与量子信息的测度

3.2最大信息的获取

3.3量子无噪声编码定理

3.4带噪声量子信道上的信息

第3章量子信息论基础

信息论是通信的数学基础，它通过数学描述与定量分析

来研究通信系统的有效性、安全性和可靠性，包括信息的测度、信道的容量、信源和信道编码理论等问题。经典通信的基础是香农信息论，香农信息论已发展得比较成熟；

量子通信的数学基础是量子信息论，而量子信息论还处在发

展过程中。

第3章量子信息论基础

熵的概念来自热力学与统计物理学。热力学中最重要的

定理是热力学第二定理，它指出任何一个孤立系统的热力学过程总是向熵增加方向进行。熵作为系统混乱度的量度，在统计物理中，近独粒子系统的熵与粒子速度分布函数f(υ)的关系可表示为

3.1熵与量子信息的测度

第3章量子信息论基础

3.1.1经典香农熵

香农熵是经典信息论中的基本概念。对于随机变量X,

它具有不确定性，可以取不同值：xj,x₂,…x,。X的香农熵

即测到X的值之前关于X的不确定性的测度，也可以视为测到X值之后我们得到信息多少的一种平均测度。

第3章量子信息论基础

第3章量子信息论基础

定义3.1设对随机变量X,测到其值为xjX₂…x,…,x

概率分别为P,P,…,P,…,P,则与该概率分布相联

系的香农熵定义为

其中P;是测到x;的概率。

必须强调的是，这里对数是以2为底的，因此熵的单位

是比特，且约定为01b0=0;另外，概率满足

H(X)=H(P₂,P,…,

(3.1)

一般地，如果随机变量取两个值，概率分别为p与1-p,则给

出熵为

例如，投掷两面均匀的硬币，每面出现的概率为1/2,

其相应熵为

若投掷均匀的四面体，则熵为

第3章量子信息论基础

人们称它为二元熵。

(3.2)

二元熵函数与概率P的关系如图3.1所示。可以看出，当

P=1/2时，H₂(P)取最大值，为1。

第3章量子信息论基础

P(X=1)

(X)H

二元熵为理解熵的一些性质提供了一个容易掌握的实例。

例如，可以用它来讨论两个概率分布混合时系统的行为。

设想Alice有两个硬币，一个是美元，另一个是人民币，

两硬币都不均匀，两面出现的概率不是1/2,设美元正面出现的概率为P,人民币正面出现的概率为Pc,假定Alice投美元的概率为Q,投人民币的概率为1-Q,Alice告诉Bob

正面或反面，平均而言Bob获得多少信息?其获得的信息

会大于或等于单独投美元和人民币获得的信息，数学表示为

(3.3)

第3章量子信息论基础

不等式(3.3)表示Bob不仅获得硬币是正面或反面的信息，还可能获得硬币类型的附加信

息。例如，若P=1/3,P=5/6,而出现为正面，这就告诉Bob,该币很可能是人民币。具体计算如下(取Q=1/2):

第3章量子信息论基础

其中，O≤P,x、y≤1,则称函数具有凹性。

一般信息熵都具有凹性。若不等式(3.4)反过来，则称函

数f具有凸性。下面介绍有关熵的几个重要概念，它涉及几个概率分布关系。

定义3.2如果一个实函数f满足以下关系：

f[Px+(1-P)y]≥Pf(x)+(1-P)f(y)

第3章量子信息论基础

(3.4)

(3.5)

相对熵可以作为两个分布间距离的一个度量。可以证明

相对熵满足H[P(x)Q(x)]≥0,即是非负的。

1)相对熵

定义3.3对同一个随机变量X有两概率P(x)和Q(x),

P(x)到Q(x)的相对熵定义为

第3章量子信息论基础

定理3.1设X是具有d个结果的随机变量，则H(X)≤

1bd,且当X在d个结果上分布相同时取等号。

证明：设P(x)是X的一个具有d个结果的概率分布，

令Q(x)=1/d,则有

H[P(x)|Q(x)]=Ibd-H(X)≥0

Ibd≥H(X)

,所以

第3章量子信息论基础

因为

即

2)联合熵与条件熵

定义3.4设X和Y是两个随机变量，X和Y的联合熵定

义为

(3.6)

其中P(xy)是X取值x及y取值y同时发生的概率。

联合熵是测量XY整体不确定性的测度，若从该熵中

减去Y的熵就得到已知Y条件下X的条件熵表示，即

H(XIY)=H(XY)-H(Y)(3.7)

它是在已知Y值条件下，平均而言对X值的不确定性的测

度。

第3章量子信息论基础

第3章量子信息论基础

3)互信息

定义3.5将包含X信息的H(X)加上包含Y信息的