信源编码例题.pptVIP

Wuhan University Wuhan University 信源编码例题 * 1、经过充分洗牌后的一副扑克（含52张牌） 任何一种特定排列所给出的信息量是多少？ 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量? * * 这是求事件的自信息量。 (a) 任一特定排列的概率都是(1/52!)，所以自信息量为log2(52!)； (b) 从52张牌中抽取13张牌，共有 种抽取方法。 而使得所给出的点数都不相同的抽取方法有 种。 所以事件“点数都不相同”的概率为 ， 自信息量为 2. 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。 (a)当已知考生来自本市时，给出多少关于考生是否被录取的信息？ (b)当已知考生学过英语时，给出多少有关考生是否被录取的信息？ (c) 以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，x,y和z的取值为0或1。试求H(X), H(Y/X),H(Z/XY) * * 问题：这是什么信息量？ “收到一个数字平均得到的信息量” 指的是“收到的数字”这个随机变量的平均自信息量（熵）：H(收到的数字)。 “发送一个数字x时，所给出的收到数字的平均信息量”应该指的是半平均互信息量： I(发送的数字=x；收到的数字)。 “发送数字时，所给出的收到数字的平均信息量”应该指的是平均互信息量： I(发送的数字；收到的数字)。 * (a)是求事件“来自本市”与随机变量“是否被录取”的平均互信息量。 (b)是求事件“学过英语”与随机变量“是否被录取”的平均互信息量。 * 以x表示是否被录取（1表示被录取，0表示未被录取），y表示是否为本市学生（1表示本市学生，0表示非本市学生） ，z表示是否学过英语（1表示学过英语，0表示未学过英语） ，则 P(xyz=111)=(1/4)×(50%)×1=12.5%； P(xyz=110)=(1/4)×(50%)×0=0； P(xyz=101)=(1/4)×(50%)×(40%)=5%； P(xyz=100)=(1/4)×(50%)×(60%)=7.5%； P(xyz=011)=(3/4)×(10%)×1=7.5%； P(xyz=010)=(3/4)×(10%)×0=0； P(xyz=001)=(3/4)×(90%)×(40%)=27%； P(xyz=000)=(3/4)×(90%)×(60%)=40.5%。 * (xy)联合分布 P(xy=00)=12.5% P(xy=01)=12.5% P(xy=10)=7.5% P(xy=11)=67.5% (xz)联合分布 P(xz=00)=17.5% P(xz=01)=7.5% P(xz=10)=34.5% P(xz=11)=40.5% x概率分布 P(x=0)=25% P(x=1)=75% y概率分布 P(y=0)=20% P(y=1)=80% z概率分布 P(z=0)=52% P(z=1)=48% (yz)联合分布 P(yz=00)=20% P(yz=01)=0 P(yz=10)=32% P(yz=11)=48% 各边际分布 * * * 3. 试求二元和三元Huffman编码 * 第一次合并R=2+((K-2) mod (D-1))＝2＋（6mod2）＝2 4. 设离散无记忆信源 试构造两组三元异字头条件码，其平均码长相同，但具有不同的方差。哪一组更好一些，为什么？ * * 第一种:平均码长为2 ，方差为0。 第一次合并R=2+((K-2) mod (D-1))＝2＋（8mod2）＝2 * 第二种:平均码长为1×0.2+2×0.6+3×0.2=2，方差为(1-2)2×0.2+(2-2)2×0.6+(3-2)2×0.2=0.4。 * Wuhan University Wuhan University