《信息论与编码》信源编码.pptx

信息论与编码（第十三讲）──────────────信源编码ⅡXXX2017年春E-mail：xxxxxxmailto:songpeng@ncut.edu.cn@xxxx.edu.cnDepartment of Electronics and Information, NCUT Song Peng第页上机安排时间第12周 周一7-8-9-10节第13周 周一7-8-9-10节第13周 周四1-2-3-4节（电14-5）地点博远楼919博远楼919博远楼919工具Matlab内容教材 上机练习Department of Electronics and Information, NCUT Song Peng第页目 录第1讲：绪论第2讲：信源及其信息量1—自信息与熵第3讲：信源及其信息量2—平均互信息第4讲：信源及其信息量3—多符号离散平稳信源第5讲：信源及其信息量4—马尔科夫信源第6讲：信源及其信息量5—连续信源第7讲：信源及其信息量6—信源编码定理第8讲：信道及其容量1第9讲：信道及其容量2第10讲：信息率失真函数1第11讲：信息率失真函数2第12讲：习题课1Electronics Engineering Department, NCUT Song Peng第页目 录第13讲：信源编码1第14讲：信源编码2第15讲：信道编码概论第16讲：线性分组码第17讲：循环码第18讲：卷积码第19讲：习题课2第20讲：上机1第21讲：上机2第22讲：上机3第23讲：上机4第24讲：总复习Electronics Engineering Department, NCUT Song Peng第页第六章 信源编码6.1 信源编码概论6.2 变长编码方法6.3 实用的无失真信源编码方法6.4 信源编码总结Electronics Engineering Department, XXXX Xxx Xxxx第页6.3 实用的无失真信源编码方法6.3.1 游程编码6.3.2 算术编码6.3.3 通用信源编码第页6.3.2 算术编码(1) 算术编码特点及应用(2) 累积分布函数F(s)及对应的区间(3) 累积分布函数的递推公式(4) 算术编码方法(5) 算术编码的译码第页(1) 算术编码的特点及应用算术编码不同于霍夫曼码，它是非分组（非块）码。它从全序列出发，考虑符号之间的关系来进行编码。算术编码利用了累积概率的概念。算术编码主要的编码方法是计算输入信源符号序列所对应的区间。因为在编码过程中，每输入一个符号要进行乘法和加法运算，所以称此编码方法为算术编码。二元序列的算术编码可用于黑白图像的编码，例如传真。6.3.2算术编码第页(2) 累积分布函数F(s)及对应的区间设信源符号集 A={a1, a2, …, an}，其相应概率分布为 P(ai)， P(ai) 0 (i=1, 2, …, n)信源符号的累积分布函数为： 所得累积分布函数为每台级的下界值，则其区间为 [0, 1) 左闭右开区间。 F(a1)=0 F(a2)=P(a1) F(a3)=P(a1)+P(a2) …当 A={0, 1}二元信源时： F(0)=0 F(1)=P(0)6.3.2算术编码第页(2) 累积分布函数F(s)及对应的区间 计算二元无记忆信源序列的累积分布函数 初始时：在 [0, 1) 区间内由 F(1) 划分成二个子区间 [0, F(1)) 和 [F(1), 1)，F(1)= P(0)。 子区间 [0, F(1)) 的宽度为：A(0)= P(0)，对应于信源符号“0”； 子区间 [F(1), 1) 的宽度为：A(1)= P(1)，对应于信源符号“1”； 若输入符号序列的第一个符号为 s=“0”，落入[0, F(1))区间，得累积分布函数 F(s=“0”)= F(0)=06.3.2算术编码第页(2) 累积分布函数F(s)及对应的区间 计算二元无记忆信源序列的累积分布函数 输入第二个符号为“1”，s=“01” s=“01”所对应的区间是在区间 [0, F(1)) 中进行分割； 符号序列“00”对应的区间宽度为： A(00)=A(0)P(0)=P(0)P(0)=P(00) 对应的区间为：[0, F(s=“01”)) 符号序列“01”对应的区间宽度为： A(01)=A(0)P(1)=P(0)P(1)=P(01) 对应的区间为：[F(s=“01”), F(1)) 累积分布函数 ：F(s=“01”)=P(0)P(0)= P(00)6.3.2算术编码第页(2) 累积分布函数F(s)及对应的区间 计算二元无记忆信源序列的累积分布函数 输入第三个符号为“1”： 输入序列可记做 s1=“011” ，对应的区间是对区间 [F(s), F(1)) 进行分割； 序列 s0=“010” 对应的区间宽度为