信息论基础总复习.pptVIP

离散集的平均自信息量－熵 熵 条件熵和联合熵 熵的凸性 H(P)是P的上凸函数 平均互信息量 条件互信息 连续随机变量的互信息 随机变量的相对熵(微分熵) 凸函数 凸集R：a，b属于R，qa+(1-q)b也属于R，其中0≤q≤1 概率矢量 矢量a的所有分量和为1 上凸函数 凸函数的性质 f(a)是上凸的，－f(a)是下凸的 f1(a),…,fL(a)是R上的上凸函数，c1,…,cL是正数，c1f1(a)+…+cLfL(a)也是上凸函数 f(a)是上凸函数，E[f(a)]≤f[E(a)],E为求数学期望 香农信息论三大定理 第一极限定理: 无失真信源编码定理。 第二极限定理: 信道编码定理(包括离 散和连续信道)。 第三极限定理: 限失真信源编码定理。 一些基本概念 二元码 定长码 变长码 非奇异码 奇异码 同价码 分组码 唯一可译码 即时码 码的前缀 码树 唯一可译码定理 设原始信源符号集为S:{S1,S2,…Sq}，码元符号集为x:{x1,x2,…,xr}，码字集合为W:{W1,W2,…Wq}，其码长分别为L1,L2,…,Lq；则唯一可译码存在的充要条件为码长组合满足Kraft不等式，即