信息论基础第24次课_总复习答题.ppt

信息论基础 ——总复习;第2章 信源熵;联合熵： 平均互信息：;;最大离散熵定理：若信源中包含n个不同离散消息，则当信源等概率时信源熵H(X)取得最大值log2n 平均互信息I(X;Y)是输入信源概率分布的上凸函数 是信道转移概率分布 的下凸函数。;多符号离散平稳无记忆信源亦称为单符号离散平稳无记忆信源的扩展信源。 N维离散平稳信源;马尔可夫信源： m阶马尔可夫信源：;各态历经定理;定长编码定理; 对离散无记忆信源，符号熵为H(X)，对信源进行m元变长编码，一定存在无失真的信源编码方法，;本章考点;第3章 信道容量;具有扩展功能的有噪无损信道 具有归并性能的有损无噪信道 ;如果一个信道矩阵具有可排列性，则它所表示的信道称为对称信道 若信道矩阵P 的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。;例：信道输入符号集X = {x1, x2}，输出符号集Y = {y1, y2, y3, y4}，给定信道转移概率矩阵，求该信道的信道容量C。;连续信道的信道容量C：信源X等于某一概率密度函数p0(x)时，信道平均互信息的最大值，即 对于高斯加性信道;香农公式;信道编码定理;本章考点;第4章 信息率失真函数;第4章 信息率失真函数;（2）信息率失真函数R(D) ;率失真函数的定义域;计算Dmax的值;当R(D)等于0时，对应的平均失真最大，也就是函数R(D)定义域的上界值Dmax。当DDmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。 ;率失真函数的性质 连续性 下凸性 非负性 单调递减;本章考点;第5章 信源编码;;A律特性;1;这样，0~1量化范围内共划分出了8*16个不均匀的量化间隔；如果将最小的量化间隔记为Δ，则Δ = 1/(128*16)，相应最大的量化间隔为64 Δ =1/32。 ; 采用13折线A律非均匀量化编码，设最小量化间隔为Δ，已知某采样时刻的信号值为x=635Δ，试求其非均匀量化编码c，并求量化噪声e 。;一、增量调制 ;【例5.3.1】已知某归一化信号序列 ，设初始量化dq0=0 ，量化增量Δ=0.125，求其增量调制编码和量化值。 ; 的编码 ； ;差分脉冲编码调制原理如下，;【例5.3.2】已知某归一化信号序列 x1, x2, x3, x4= 0.05,0.15,0.23,0.2，设初始值dq0=0， ，采用码长为4的均匀量化，量化间隔Δ=0.03125，求其差分脉冲编码调制的编码和量化信号值。 ;DPCM的编码 ;无损编码 香农编码、Huffman编码、费诺编码、算术编码、字典编码、L-D编码、行程编码…… 有损编码 均匀量化、非均匀量化、矢量量化、增量调制、差分脉冲编码调制、变换编码……;本章考点;第6章 信道编码;(n,k)线性分组码：c=mG;线性分组码;线性分组码的译码;如：;循环码：一个线性分组码的任意一个码字 c(n元组)都是另外一个码字c’的循环移位.;定义 由此确定的多项式g(x)称为(n,k)循环码的生成多项式;则(n,k)循环码的生成矩阵为;(n,k)循环码的一致校验多项式 h(x)=(xn+1)/g(x) 一致校验矩阵为;本章考点