信息论与编码知识点分布高等教育.docxVIP

x/y)I(x)I(y)I(xy)1i2i1p(xy)I(x/y)j1i1H(XY)nmp(xy)I扩展性；可加性；极值性；平均互信息量：名师精编优秀资料nmp(xy)ij2p(x)p(y)各种熵之间的N倍。独立并联信道（积信道与和信道）N个独立并联信道的信道容量等于各个信道容量之和级联信道多级级联列、列可排列性）Cmax[H(Y)H(Y/X)]logp(x)准对称离散信道的信道容量（行可排列，列x , x ,1 2p(x ), x/y)I(x)I(y)I(xy)1i2i1p(xy)I(x/y)j1i1H(XY)nmp(xy)I 扩展性；可加性；极值性；平均互信息量：名师精编优秀资料nmp(xy)ij2p(x)p(y)各种熵之间 的N倍。独立并联信道（积信道与和信道）N个独立并联信道的信道容量等于各个信道容量之和级联信道多级级联 列、列可排列性）Cmax[H(Y)H(Y/X)]logp(x)准对称离散信道的信道容量（行可排列，列 x , x , 1 2 p(x ), p(x ), 1 2 x i n , p(x ), , p(x ) i j I(x ) i i I(x / y ) log p(x / y ) 2 i j 2 j i j I(x / y ) I(y ) I(y / x ) p(x / y ) i j 2 p(x ) i 2 i j i j i j i j ] p( x ) n p( x ) log p( x ) i m n i j i j i j i j i j 2 i j 名师精编 优秀资料 信息论与编码知识点分布 注： （ 1 ）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基 础上进行针对性公式记忆。 （2 ）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义 中典型习题、教材中模拟题等要熟练掌握求解方法。 第二章 信源与信源熵 1 信源的不确定性 2 单符号离散信源 （ 1 ）单符号离散信源的数学模型 X P(X) , , , x i n （2）单符号离散信源的信息量（自信息量 、联合信息量、条件信息量及三种信息量的关系） 自信息量： 条件信息量： 联合信息量： I(x y ) i I(x ) log p(x ) i j 2 i j log p(x y ) log p( y ) p(x / y ) i j j j i 互信息量： I(x ; y ) log i j I(x ) i 信源熵： H( X) E[I( xi )] E[log 条件熵： H( X / Y) E[I( x / y )] 联合熵： I(x / y ) I(x ) I( y ) I(x y ) 1 i 2 i i1 i p( x y )I( x / y ) j 1 i 1 H( XY) n m p( x y )I( x y ) n m p( x y ) log p( x y ) i 1 j 1 i 1 j 1 熵函数的性质： 非负性； 对称性；最大离散熵定理；扩展性；可加性；极值性； 平均互信息量： 3 多符号离散平稳信源 为任意大于零的正数。反之，若实际信息率RC，则对任何编码，Pe必大于零。 为任意大于零的正数。反之，若实际信息率RC，则对任何编码，Pe必大于零。6线性分组码定义[N,K] 信道的总信道矩阵等于所有信道军阵的乘积。其容量用单幅号信道的信道容量计算名师精编优秀资料方法即可。第 阵；2平均失真度与保真度准则；3信息率失真函数R（D）及