通信原理第3讲信源编码信息论部分.pptVIP

信源与信源编码 一、信源的分类及其数学模型 信源从消息的表现形式上可以分为离散信源和连续信源 1）离散信源：文字、电报等； 单消息离散信源： 2）连续信源：声音、图像 单消息连续信源： 其中p(x)表示具体取连续值x的概率密度 在实际中，消息多为连续的模拟消息：比如声音、图像 长度为L个符号的消息序列信源的取值集合XL 则此长度为L的离散信源可用一个长为L的随机矢量表示 当消息序列中每个消息符号Xi 以概率P(xi)取随机值xi时，随机矢量X取得一个随机样值，表示为： 随机矢量X取的样值x的概率表示为一个L维的联合概率： 则对于离散消息序列信源可表示为： 二、信息量与信息熵 对于信息而言： 1）最大的特征：不确定性或随机性 2）采用概率的方法进行度量—度量信息的随机性 3）随机性越强，蕴含的信息量越大； 随机性越弱，蕴含的信息量越小 信息论的主要内容之一就是如何度量信息的随机性 对于单信息，当X以概率P(xi)取值xi时，其信息量记为： 则单消息信源的信息熵记为： 即：取信息量的统计平均值 1）单消息离散信源的自信息量 若单消息X，它以极小的概率P(xi)取值xi，随机性强，则产生的信息量大，反之产生的信息量则小，那么： 当P(xi)增大，I[P(xi)]减小；当P(xi)减小，I[P(xi)]增大 即X = xi 所产生的信息量是其所对应概率的递减函数 自信息量满足可加性： 若两个单消息X，Y相互独立，则分别以概率P(xi)和P(yi)取xi和yi时所产生的信息量，应为二者之和： 2）两个单消息离散信源的联合自信息量 若两个单消息X，Y有统计关联时，条件自信息量和两个消息的联合自信息量分别计算如下： 香农将信源输出一个符号所含的平均信息量H(X)定义为信源的信息熵，用于描述信源的平均不确定性，其计算公式如下： 熵的最大值为： 当且仅当： 熵的单位取决于对数的底： 1）若公式中的对数以 2为底时，熵的单位为比特（bit）； 2）若公式中的对数以 e为底时，熵的单位为奈特（Nat）； 3）若公式中的对数以10为底时，熵的单位为笛特（Det） 三者之间的关系： 联合熵与条件熵的计算： 这三者之间的关系： 信源冗余度： 假设某个信源X可以输出L个符号X1、X2…XL，这L个符号之间存在记忆，即相互关联，则信源熵可表示为： 定义消息序列信源平均每发出一个符号所含的信息熵： 当L→∞时， 则下式成立： 则多余的信息量为： 信源的效率： 信源的冗余度： 信源的冗余度表明信源所发出的信息有多余分量，若不进行处理，在进行传送时，会占用信道资源，导致信道利用率的降低 三、互信息 信源输出的平均信息量被接收端收到后的信息量称为互信息：I(X; Y ) 各种熵之间的关系： 四、无失真离散信源编码定理 信源编码： 1）离散信源输出的是各种离散消息和符号； 2）为了能将离散消息和符号在信道上传输，必须将这 些消息和符号进行数字化，即进行信源编码 保证无失真的信源编码的两点要求： 1）信息速率要小； 2）接收端能够译码并从编码序列中恢复出原始信息 两种编码方法： 1）等长编码：编码器输出的所有码字长度相同 2）不等长编码：编码输出的码字长度不同 这个编码器的要求： 1）无失真： 2）有效性： 若要保证完全意义上的无失真，即： 对于等概离散信源可以采用等长编码方法 对于不等概的离散信源： 1）无需对每一个消息序列进行编码； 2）只考虑大概率的消息序列 3）小概率的消息序列不进行编码 因此在这个条件不能满足完全意义的无失真，此时的无失真是指近似的无失真 当不等概时，将消息序列集合按照概率大小分为两部分： 对于编码器的无失真要求： 因此只要编码器输出的信息量为 时，编码器可以做到近似无失真 此即为等长编码定理，定义编码器输出的信息率 利用等长编码定理： 对于二进制编码： 对于 表示平均每个信源符号的编码长度，其值与信源的信息熵有关，因此称为熵编码 当采用变长编码时，必然存在一种编码方式使得信源的信息率 接近于信息熵 变长编码（非满树变长编码）： Huffman编码 六、信息率失真函数 等长编码定理和变长编码定理均要保证信息的完全无失真和近似完全无失真，但在实际应用中，并不要求完全无失真的恢复信息，只要满足一定的条件，近似地恢复信源发出的消息