量子信息导论.pdfVIP

量子信息论基础之 经典信息论简介 基本内容： 信息的基本概念和度量： 香农熵 信源与信道：互信息量，信源编码 香农定理  什么是信息：获得消息和消除掉的不确定性 信息量：消除不确定性的度量 例子：事件x, 出现概率为P(x) 特征：小概率事件信息量大 P(下雨) P(地震) 度量事件x 的信息量：自信息量 I(x)=-log[P(x)] 信息论中，常以2为底数  事件集合： 事件集的信息熵：事件中各事件自信息量的统计平均 香农熵： 性质： 正定性： H(X)=0 可加性： 强可加性： 上凸性:  信源和信道 信源：物理属性（空间，时间）， 概率属性（无记忆，Markov信源）， 数学属性（离散，连续） 信道：传送信息 input output  信道传输概率矩阵:噪声信道数学表示 互信息量：接收信息B后消除的对A 的不确定性（具有对称性） 事件集{A,B}的总熵： 零概率事件：某些情况下，零概率不一定表示不 可能发生。例如在实数轴上取点得有理数或整数 的概率为零，但还是会发生。 零概率事件给出信息无穷大，但是由于出现概率 为零，对整体信息量计算没有影响。 x*logx=logx/(1/x)---x--0 when x--0 事件集的互信息量：  各信息量之间的关系图 H(A) H(B) H(A|B) I(A,B) H(B|A) H(A,B) 信道的信息传输率R：  信道容量：对于给定的信道，总存在一种信源， 使得信息的传输率最大，这个最大值定义为信道 的容量. 信道容量有时也表示为单位时间内可传输的二进制位的位数 （称信道的数据传输速率，位速率），以位/秒（b/s ）形 式予以表示，简记为bps 。 信源与信道的匹配性： R=C 匹配； RC 不匹配； 信道剩余度： C-R  信源编码：在不失真或者减小失真的情况下尽量 减少信号传送信息，提高传输率 信源 信源编码 信道编码 道 信 信宿 信源译码 信道译码 编码目的：适用于信号传输，增加抗干扰， 保证尽可能大的传输率 编码：使信源符号序列和码字符号C 中的码字之间建立的 一一对应关系 信源输出符号集合： 编码符号集合： 码字： 码元 码字集合： 平均码长： 新信源的传输率：信源符号的平均信息量（比特/信源符号） 码元符号的平均信息量（比特/码元符号） 编码符号数（码元符号/信源符号） 信源编码：依据输出符号的统计特性，寻找一定的方法，把信源输 出的序列变成最短的码字序列，使每个码字携带的平均信息最大。 例子： S: s1 s2 s3 s4 P: 1/2