信息论实验2.docVIP

《信息论与编码》 实验2 香农编码规则及其软件实现 一、实验目的 1、通过上机实践，实现常用的信源编码方案，以加深对编码理论的理解，促进对本课程所学知识的理解和把握。 2、通过信源编译码，理解香农第一定理 3、通过信源编译码，掌握信源编码的方法和手段 二、实验原理 信源编码主要可分为无失真信源编码和限失真信源编码。无失真信源编码主要适用于离散信源或数字信号，如文本、表格及工程图纸等信源，它们要求进行无失真地数据压缩，要求完全能够无失真地可逆恢复。 凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可称为最佳码。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。其中香农编码是能获得最佳码的编码方法之一。 香农第一定理指出，选择每个码字的长度满足下式 I()I()+1 ， 就可以得到这种码。这种编码方法称为香农编码。 香农编码步骤： 设离散无记忆信源 二进制香农码的编码步骤如下： (1)将信源符号按概率从大到小的顺序排列，为方便起见，令 p(x1)≥ p(x2)≥…≥ p(xn) (2)令p(x0)=0，用，j=i+1表示第i个码字的累加概率，则： (3)确定满足下列不等式的整数 ，并令为第i个码字的长度 －log2 p(xn)≤－ log2 p(xn)+1 (4)将用二进制表示，