离散无记忆源.pptVIP

离散无记忆源 字母表A={a1,…,aK},概率分别为p1,…,pK,长为L的源输出序列uL={u1,…,uL}，共有KL种序列 码符号字母表B={b1,…,bD},以码符号表示源输出序列，D元码 等长D元码，不等长D元码的个数 单义可译码，每个消息都至少有一个码字与之对应。 单义等长可译码存在充要条件DN≥KL 由此可得，N≥LlogK/logD DMS的等长编码 NlogD≥LH(U) H(U)是统计平均值，L达到无限时，一个具体的源输出序列的平均每符号的信息量才等于H(U) 选L足够长，使 NlogD≥L[H(U)+eL] L趋向于无穷，eL趋向于0，保证不降低效率。不能保证单义可译，但可以保证非单义可译引起的误差可以渐进的任意小。 如何证明？ 弱、强e典型序列集 例3.2.2 信源划分定理 定理3.2.1:给定信源｛U, p(ak)｝和e0,当L?∞，Pr{T(L, e)}?1,或对所有e0，存在有正整数L0，使得当LL0时有 信源划分定理 信源划分定理 典型序列的数目： 系2：当L足够大时，对于给定的信源和e0,典型序列的个数｜TU(L,e)｜满足 信源划分定理 信源消息可以分为2组：（渐进等同分割性） 1、典型序列 高概率集，渐进等概序列，AEP序列 2、非典型序列 低概率集 编码速率和等长编码定理 编码速率：R=(1/L)log