经典信息论简介-USTC.PDF

量子信息论基础之 经典信息论简介 基本内容： 信息的基本概念和度量： 香农熵 信源与信道：互信息量，信源编码 香农定理 什么是信息：获得消息和消除掉的不确定性 信息量：消除不确定性的度量 例子：事件x, 出现概率为P(x) 特征：小概率事件信息量大 P(下雨) P(地震) 度量事件x 的信息量：自信息量 I(x)=-log[P(x)] 信息论中，常以2为底数 事件集合： 事件集的信息熵：事件中各事件自信息量的统计平均 香农熵： 性质： 正定性： H(X)=0 可加性： 强可加性： 上凸性: 信源和信道 信源：物理属性（空间，时间）， 概率属性（无记忆，Markov信源）， 数学属性（离散，连续） 信道：传送信息 input output 信道传输概率矩阵:噪声信道数学表示 互信息量：接收信息B后消除的对A 的不确定性（具有对称性）