二差值脉冲编码DPCM-Read.PPTVIP

第3章 数字编码 3.1 信源编码 3.2 信道容量 3.3 差错控制编码 3.4 几种差错控制编码简介 3.5 数字压缩编码 3.1 信源编码 3.1.1 信息的度量 3.1.2 离散信源编码 3.1.3 模拟信源编码 3.1.1 信息的度量 一．离散信源的信息度量 信源发出的消息由于具有不确定性而具有信息量，消息的不确定度越高，其相应的信息量就越大 设信源发出消息Xi的概率为p(i)，则I(Xi)=log[1/p(i)]就是消息Xi提供的自信息量。 I(Xi)只表示了一个具体消息Xi所具有的不肯定程度，但不能表示Xi所属信源的总体不肯定度 定义信源的平均信息量就是信源X输出一个消息所提供的平均信息量，也叫做信源熵。 显然，具有n个独立符号的信源在各个符号等概率分布时，信源的熵HN(x)最大，为log2N。 如果信道没有噪声干扰，则发送消息Xi就必然收到Yi，即收到消息yi后即可确定发送为xi。 当信道中有干扰时，收到消息yi后不能完全确定发送的一定就是xi。 对无扰信道而言，H(x/y)=0 有扰信道的H(x/y)≠0 在无干扰情况下，收信者从信源收到的每个消息中得到的平均信息量等于信源的不肯定度H(x)；当信道存在于扰时，收信者得到的平均信息量将小于H(x)。 3.1.2 离散信源编码 离散信源的编码通过尽量使消息符号等概率出现或出现概率接近，