信息论与编码 自学报告材料.doc

标准实用文案 文档 《信息论与编码》课程自学报告 题 目： 《信息论与编码》自学报告 学 号： 姓 名： 任课教师： 黄素娟 联系方式： 二零17年 1月 10日 第一部分 阐述“第四章 信息率失真函数”主要内容 1、基本概念 1.1失真函数与平均失真度 平均失真度 在离散情况下，信源X＝{a1,a2,…ar} ，其概率分布p(x)＝[p(a1),p(a2),…,p(ar)] ，信宿Y＝ {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时，则平均失真度为： 凡满足保真度准则---平均失真度D ? D0的试验信通称D失真许可的试验信道。 失真函数 假如某一信源X，输出样值为xi，xi?{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj ?{b1,…bm}。如果xi＝yj，则认为没有失真；如果xi ? yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为 最常用的失真函数 前三种失真函数适用于连续信源，后一种适用于离散信源。? 1.2信息率失真函数的定义 互信息取决于信源分布和信道转移概率分布。当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 单位：bit/信源符号 对于离散无记忆信源，R(D)函数可写成 p(ai)，i＝1，2，…，n???? 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m? 是转移概率分布； p(bj)，j＝1，2，…，m??? 是接收端收到符号概率分布。 信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系 1.3信息率失真函数的性质 1、R(D)函数的定义域和值域 R(D)的定义域为 允许失真度D的下限可以是零，这是不允许任何失真的情况。 2、R(D)是关于平均失真度D的下凸函数 设为任意两个平均失真，，则有： 3、R(D) 是 区间上的连续和严格单调递减函数。 离散信源的信息率失真函数 2.1离散信源信息率失真函数的参量表达式 (1) (1) (1) (2)(3)(4) 2.2二元及等概率离散信源的信息率失真函数 设二元信源 计算率失真函数R(D) 对于这种简单信源，可从D(S)解出S与D的显式表达式。 二元等概率离散信源的率失真函数 当上述二元信源呈等概率分布时，上面式子分别退化为 3保真度准则下的信源编码定理 定理4.1 (保真度准则下的信源编码定理，香农第三定理) 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D。对于任意 D，以及任意长的码长k，一定存在一种信源编码C，其码字个数为使编码后码的平均失真度。 定理的含义是：只要码长k足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即： 由于R(D)为给定D前提下信源编码可能达到的传信率的下限， 所以香农第三定理说明了：达到此下限的最佳信源编码是存在的。 第二部分 信源编码或信道编码典型案例的实现方案 信源编码典型案例的实现方案--霍夫曼编码的matlab实现 编码原理 霍夫曼（Huffman）编码算法是满足前缀条件的平均二进制码长最短的编-源输出符号，而将较短的编码码字分配给较大概率的信源输出。算法是：在信源符号集合中，首先将两个最小概率的信源输出合并为新的输出，其概率是两个相应输出符号概率之和。这一过程重复下去，直到只剩下一个合并输出为止，这个最后的合并输出符号的概率为1。这样就得到了一张树图，从树根开始，将编码符号1 和0 分配在同一节点的任意两分支上，这一分配过程重复直到树叶。从树根到树叶途经支路上的编码最后就构成了一组异前置码，就是霍夫曼编码输出。 编码步骤 （1）、码树形成过程：将信源概率按照从小到大顺序排序并建立相应的位置索引。然后按上述规则进行信源合并，再对信源进行排序并建立新的位置索引，直到合并结束。在这一过程中每一次都把排序后的信源概率存入矩阵G