信息论与编码自学报告.docxVIP

《信息论与编码》课程自学报告 题 目： 〈〈信息论与编码》自学报告 学 号: 姓 名： 任课教师： 黄素娟 联系方式： 二零17年1月10日 第一部分 阐述“第四章 信息率失真函数”主要内容 1、基本概念 1.1失真函数与平均失真度 平均失真度 在离散情况下，信源X = {a1,a2,…ar},其概率分布p(x)= [p(a1),p(a2), …,p(ar)]，信宿丫二{b1,b2,…bs}。若已知试验信道的传递 概率为p(bj/ai)时，则平均失真度为： r s ZXYp(ab)d(a,b) 二 -■ p(ai) p(bj / ai)d (ai,bj) Z XY i =1 j -1 凡满足保真度准则---平均失真度D DO的试验信通称D失真许可的试验信道。 失真函数 假如某一信源X,输出样值为xi , xi {a1,…an},经过有失真的信源编码 器，输出丫，样值为yj , yj {b1,…bm}。如果xi = yj，则认为没有失真；如果 xi -yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi， yj)，以衡量用yj代替 yj)，以衡量用yj代替xi所引起的失真程度。 般失真函数定义为 冰也十衣?0 最常用的失真函数 均方失真:心宀}=(斗-yf y 绝对失真=± v ) ■ |r. - J . | 梱对失真匕 心 ￡)=氏一片| |兀| 误^^真=^Qxity ) = ) =-°= 二 1， 其它 前三种失真函数适用于连续信源，后一种适用于离散信源 1.2信息率失真函数的定义 互信息取决于信源分布和信道转移概率分布。当 p(xi) 一定时，互信息I是关于 p(yj/xi) 的U型凸函数，存在极小值。在上述允许信道PD中，可以寻找一种信 道pij ,使给定的信源p(xi)经过此信道传输后，互信息I(X ； Y)达到最小。该 最小的互信息就称为信息率失真函数 R(D),即 单位:bit/ 单位: bit/信源符号 对于离散无记忆信源，R(D)函数可写成 眄=吸号尿哋X)诞警浮 p(ai)， i 二 1, 2, …，n 是信源符号概率分布； p(bj/ai) ，i = 1, 2,…， n, j -1, 2,…，m 是转移概率分布; p(bj)， j 二 1, 2, …，m 是接收端收到符号概率分布。 信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系 1.3信息率失真函数的性质 1、R(D)函数的定义域和值域 R(D)的定义域为 0 _ Dmin _ D - Dmax Dmin Dmin 八 x p(x)啊dgdxF吨 p(x)d(咧 允许失真度D的下限可以是零，这是不允许任何失真的情况。 2、R(D)是关于平均失真度D的下凸函数 设为任意两个平均失真，0、a~ 1，则有: R[aD「(1 - a)D2p aR(DJ (1 - a)R(D2) 3、R(D)是(Dmin, Dmax)区间上的连续和严格单调递减函数 离散信源的信息率失真函数 2.1离散信源信息率失真函数的参量表达式 r r Z i =1 n m I (X,Y)八p(ajp(bj /a)og i吐j电 PQ /aj - 0  P(bj /aj p(ajp(bj/aj ( ⑴ m \ 、p(bj/aj = 1,(i -1,..., n) j弓 (5) (5) n m p(ai)p(bj/ajd(ai,bj)二 D i M j生  m =I(X;Y)」「p(bj/aJ-sD p D(s)八 p(ajp(bj”d(ai,bj)exp[sd(ai,bj)] i j (4.3.16) n R(s) = sD (s) p(ai) log ■ i i丄 (4.3.17) 2.2二元及等概率离散信源的信息率失真函数 设二元信源 1 xi X2 : )一 — 1 P ■- 1 — P： ，其中 p(Xi 失真矩阵为 输入符号集 输出符号集 0 X三xi V i D1 计算率失真函数D) 对于这种简单信源， 可从 D(S)解出S与D的显式表达式。 D( S ) e — i + e Sa e S-- D_ a D D_ 丄ln a 〔 _ D a 1 _D a p i 一 D a 1 - p R( D )二 D ln D a a =H( p)- 上式右边第一项是信源 压缩的信息率。 D 二 0, D =. Dmax , p( y i) p( y 2) D p !0t_ 1 一竺 a (i - p )- 2D a p( y i / x i)= p( y i / x 2) D ja p( y 2 / x i) p( y 2 / x i) 1 -丄 p p 1 _ 弓 D D (P - 耳〕 很i1 -