- 17
- 0
- 约5.55千字
- 约 48页
- 2019-08-10 发布于广东
- 举报
① 变长编码定理 平均码长: 变长编码定理:若一离散无记忆信源的平均符号熵为H(X),对信源符号进行m元变长编码,一定存在一种无失真编码方法,其码字平均长度 满足下列不等式 其平均信息率满足不等式 H(X)≤R≤ H(X)+ε,式中ε为任意正数。 证明: 设信源符号X∈{x1,x2,…, xi, …, xn},概率 p(xi) (i=1,2,…,n) 对xi用一个长度为ki的码字,使 只要规定 为正整数时,上式取等号,非整数时, ki 取比它大一些的最接近的整数,则满足上式的整数必存在。 将上式分别乘以p(xi )再对i求和,得 对ki取数学期望就是平均值 ,故 由上面式子可得 kilog2m≥-log2p(xi),或 , 对两边求和得 码字长度满足克拉夫特不等式,因而是异前置码。 多符号情况 对于平稳无记忆信源来说,当信源输出的是长度为L的消息序列时,容易证明定理中式子可改进为 这时的 代表平均码序列长度。 已知编码后平均每个信源符号能载荷的最大信息量为(不等长信源编码信源平均输出信息率) 证毕 对信源进行变长编码一般所要求的信源符号长度L比定长编码小的多。 码的剩余度: 编码效率的下界 ② 举 例 [例]设单符号
原创力文档

文档评论(0)