第3章 离散信源解答.pptVIP

离散无记忆信源的等长编码（续） 例 将26个英文字母用二进制作成等长编码，求代码组单义可译的最小长度。（假设字母等概率出现） 离散无记忆信源的不等长编码（续） 预备定理3.1 （Kraft不等式）设离散无记忆信源有M个符号， 每个符号被用D进制代码组进行编码，第i个符号对应的代码 组长度为Ni,则单义可译代码组存在的充分必要条件是： 离散无记忆信源的不等长编码（续） 预备定理3.2 设{Pi}，{qi} (1=i=M)为两个非负元素集合， 且满足： 则有： 离散无记忆信源的不等长编码（续） 设离散无记忆信源含有M个符号（消息），采用D进制作不 等长编码，第i条消息出现的概率为pi，对应的代码组长度为 Ni，则单义可译代码组的平均长度满足： 其中第i条消息对应的代码组长度Ni满足： 无失真信源编码定理 定理3.4 (香农第一定理) 设离散无记忆信源共有M个符号，信源发K重符 号序列消息，则K重符号序列消息的总数为MK。又设信源发出的第i条K 重符号序列消息的概率为Pi，经过信源编码器后所生成的代码组长度为 Ni，则所有K重符号序列消息所对应的代码组的平均长度为： 当符号序列消息中的符号个数不断增加时，有下式成立： 例3.7 已知离散无记忆信源X含有两个符号x1，x2，各自出现的概率分别为P(x1)=1/4， P(x2)=3/4，求以下两种情况下，信源的编码效率： （1）信源发单符号消息x1，x2，且被编成二进制代码组分别为x1-0，x2-1。 （2）信源发二重符号序列消息x1x1，x1x2，x2x1，x2x2。而且被编为二进制代码组分别为x1x1-111，x1x2-110，x2x1-10，x2x2-0. 最佳不等长编码 定理3.5 设信源含有M个符号，各自出现的概率为Pi， 1=i=M，而且满足P1=P2=…=PM，信源编码器生 成的M个代码组的长度分别为Ni， 1=i=M，如果有 N1=N2=…=NM，则代码组的平均长度 最小。 香农(Shanon)最佳编码方法 (1) 把信源发出的M个消息按其出现的概率Pi从大到小进行排列； （2）对每一条消息，求其对应的二进制代码长度： （3）求每一条消息对应的累加概率，即 （4）将累加概率值Pi转换为相应的二进制小数值，并取小数点后Ni位作为第i 条消息对应的二进制代码组。 例3.8 已知信源含有7个符号，出现的概率分别为0.2, 0.19, 0.18, 0.17, 0.15, 0.10, 0.01, 试用香农最佳编码方法对其进行 编码，求每条消息对应的二进制代码组，并计算信源编码的效 率。 哈夫曼(Huffman)最佳编码方法 1）把信源发出的M个消息按其出现概率从大到小排列； 2）把概率最小的两个消息分别编成“1”和“0”码元，并求其概率和； 3）把上述的概率和作为一个新消息的概率，再与剩余的其它消息按概率递 减顺序排列； 4）重复步骤 2）与 3），直到两消息的概率和为1； 5）沿每条消息编码方向依次取下所编码元，构成该消息对应的二进制代码 组。 第三章 离散信源 若信源输出的消息为离散的符号形式，如手写文字，计算机输出的代码，则该信源称为离散信源。其输出的消息称为离散消息。可用下列符号序列表示： …..X-2X-1X0X1X2……。 其中，Xi是在第i时刻产生的符号，i为整数，Xi为一个随机变量。 若离散信源输出的符号Xi相互独立，则称此信源为离散无记忆信源，否则称为离散有记忆信源。 若离散信源每次发出一个符号来作为一条消息，则称为单符号离散信源；若每次发出K个符号作为一条消息，则称为K重符号序列离散信源。 信源分类 若离散信源输出符号彼此间相互独立，而且所有符号服从同一种概率分布，则称之为简单无记忆信源； 若输出符号间彼此相关，且每个符号只与它前面的一个符号相关，而这种相关性可以用符号间的转移概率来描述，则称之为马尔可夫信源。 离散信源的熵 单符号离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送一个 符号代表一条消息时，其信源熵可以表示为: 其中，P(xi)是离散符号xi出现的概率。 离散信源的熵（续） K重符号序列离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送K个符号代表一条消息时，其信源熵可以表示成为： 离散信源的熵（续） K重符号序列离散有记忆信源熵： 若信源X含有M个符号，但是每个符号间是不独立的，则当该信源每次发出 K个符号代表一条消息时，其信源熵满足: H(XK)KH(X). 结论：如果信源符号之间具有相关性，则每次发出K个符号代表一条消息时对外提供的平均信息量比符号间相互独立时每次发出K个符号代表一条消息所提供的平均信息量要小。 而且相