信息论与编码 要点.pptVIP

* * 例：现设C={0，10，1100，1110，1011，1101}，来判断是否是惟一可译码。 解法一： 首先码字C是非奇异码，又由题知，信源符号数为q=6，输出信源的码符号数为r=2，根据kraft不等式得， 满足kraft不等式。 最后画出树图，如下图所示。又图知，该码是前缀码，所以还无法判断是否是惟一可译码。 * * 解法二（根据A.A.Sardinas和G.W.Patterson算法）：因为最短码字为“0”，不是其他码字的前缀，所以它没有尾随后缀。观察码字“10”，它是码字“1011”的前缀，所以有 尾随后缀。根据下图可得，A={11，00，10，01，0，1，100，110，011，101}。可见，A集中“10”和“0”都是码字，故码C不是惟一可译码。（对00，码字0是它的前缀，所以有尾随后缀0） * * 5.2 无失真信源编码 * * 无失真信源编码 信源编码器输入的消息序列: X=(X1 X2…Xl …XL), Xl∈{a1,…an}, 输入的消息总共有nL种可能的组合 输出的码字为: Y=(Y1 Y2 …Yk… YKL ) , Yk∈{b1,…bm} 输出的码字总共有mKL种可能的组合。 信源编码器 码表 信源 信道 X Y L长序列 KL长码字 * * 无失真信源编码 实现无失真的信源编码,要求: 信源符号X1 X2…Xl …XL 是一一对应的 码字Y1 Y2…Yk… YKL 能够无失真或无差错地从Y恢复X,也就是能正确地进行反变换或译码 ; 传送Y时所需要的信息率最小 信息率最小就是找到一种编码方式使 最小 * * 5.2.1 定长编码定理 在定长编码中,K（KL）是定值。目的是寻找最小K值。 编码器输入X=(X1 X2…Xl …XL), Xl∈{a1,…an}, 输入的消息总共有nL种可能的组合 输出的码字Y=(Y1 Y2 …Yk… YK ) , Yk∈{b1,…bm},输出的码字总共有mK种可能的组合 若对信源进行定长编码,必须满足: nL≤mK 信源编码器 码表 信源 信道 X Y L长序列 K长码字 * * 定长编码 若对信源进行定长编码,必须满足: 只有当K长的码符号序列数 mK大于或等于信源的符号数nL时,才可能存在定长非奇异码。 例如英文电报有27个符号,n=27,L=1,m=2(二元编码) 每个英文电报符号至少要用5位二元符号编码 * * 定长编码 实际英文电报符号信源,在考虑了符号出现的概率以及符号之间的依赖性后,平均每个英文电报符号所提供的信息量约等于1.4比特,大大小于5比特。 编码后5个二元符号只携带约1.4比特信息量。 定长编码的信息传输效率极低。 * * 定长编码定理 定长编码定理： 由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1…Xl…XL,可用 K个符号Y1…Yk…YK(每个符号有m种可能值)进行定长编码。对任意ε＞0,δ＞0,只要 则当L足够大时,必可使译码差错小于δ;反之,当 时,译码差错一定是有限值,而当L足够大时,译码几乎必定出错 * * 定长编码定理 ⑴当编码器容许的输出信息率,也就是当每个信源符号所必须输出的码长是 时,只要 ,这种编码器一定可以做到几乎无失真,也就是收端的译码差错概率接近于零,条件是所取的符号数L足够大。 * * ⑵将定理的条件改写成 其中：左边：KL长码字所能携带的最大信息， 右边：L长信源序列携带的信息量。 上述定理表明: 只要码字所能携带的信息量大于信源序列输出的信息量,则可以使传输几乎无失真,当然条件是L足够大。 反之,当 时,不可能构成无失真的编码,也就是不可能做一种编码器,能使收端译码时差错概率趋于零。 时,则为临界状态,可能无失真,也可能有失真。 * * 定长编码定理的应用例子： * * 定长编码定理的应用例子： * * 定长编码定理 为了衡量编码效果,定义编码效率： 对定长编码,若要实现几乎无失真编码,则信源长度必须满足（δ为差错率）: 信源单符号的自信息方差 （离散无记忆） 最佳编码效率： 阐明了编码效率接近1的理想编码器的存在性，使输出符号信息率与信源熵之比接近于1 * * 例5-2 * * 方差： 若取差错率δ≤10－6,编码效率为90%(则ε=0.28),则L应满足 在差错率和编码效率要求并不十分苛刻的条件下,需要L=108个信源符号进行联合编码,这显然很难实现 * * 5.2.2 变长编码定理 在变长编码中码长K是变化的。 我们可根据