信息论与编码—锦囊.ppt

关于两个事件互相提供信息量的大小？ （1）直观看，两个事件在什么样的情况下给对方提供的信息量最大。 （2）我们已经事先知道D国和美国经常唱反调，C国对美国态度保持中立，英国和美国关系很好，那么美国和某国E发生战争：I、对于英国在是否向某国E宣战，是否提供信息量？ II、对于C国是否向某国E宣战，是否提供信息量？III、对于D国是否向某国E宣战，是否提供信息量？哪个提供的信息量大？提供的信息量是否有正负之分？ （3）经常骗人的骗子是否给你提供有效的信息？ （4）已知发送信号错误率太高，比如二进制每bit的错误率超过了百分之五十，能否提供有效的信息？ （5）以下几类人说 “狼来了”给我们提供的信息量？我们已经事先知道他是：A）诚实的人。B）经常故意骗人，说反话的人。C）故意吓唬人，闭着眼睛随便乱说话的人，不管狼来不来都乱说。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息压缩的极限（与信息度量） （1）假如对n个事件可以进行任意长度的编码，则编码的影响因素有哪些？当希望编码长度尽量短的时候应该怎么办。 （2）假如要告知对方某种情况，而告知的情况只是n中情况之一，是否可以采用约定的编号、暗号等进行通信，这个编号最小的取值范围是多少？ （3）我们希望对消息进行编码，以求编码的平均长度最短，假如n种情况中，某一情况发生的可能性极大，概率达到99.9999999%，对于各种情况都采用相同长度的编码表示，是否存在浪费？ （4）一个山头上的人S意欲将信息发布给对方山头上的人R，双方通过五色旗传递信息，双方可以事先约定什么颜色代表什么信号，进而对应什么样的消息。双方通过多次举旗来传递信息，假如S只是想告诉R发生了n中情况之一，怎么样可以让举起旗帜的次数最少，这个次数应该是多少？这其中有哪些现实问题需要考虑？ （5）对上面问题进行简化，考虑事件可能结果为等概率的情况，最初发生的概率均为p，则相应的可能结果数为多少？等概率事件是否应该进行等长度编码？如果是，进而采用等长度的编码，则编码长度如何计算？ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息压缩的极限（与信息度量） （6）考虑事件可能结果不是等概率的情况，是否应该进行等长度编码？如果不是，编码的长度与事件的概率应该呈什么样的关系？ （7）我们希望编码长度尽量的短，如果要求编码可以还原为唯一的事件，请问是否无限制缩短编码长度？ （8）如果不能无限缩短编码长度，编码的最短长度应该受到什么样的制约？ （9）假如我们认为在一定的条件下可以编码的编码空间为1，以所有的编码都不存在互相包含关系为例，即不存在某个编码包含另外一个完整的编码，假设n进制，长度为L的编码会占用多少的编码空间？ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息压缩的极限（与信息度量） （10）这种编码的占用编码空间特点是否可以类推到非异前缀编码？ （11）考虑编码空间为1，则编码的各个码字长度受到什么样的制约？ （12）考虑香农辅助定理，在以上制约的前提下，理论上的平均编码长度最短应该是多少？（香农辅助定理：离散无记忆信源输出q个不同信息符号，当且仅当各个符号出现的概率相等的时候，信息熵最大。）对于任意n维概率矢量P=(p1,p2,…,pn)和Q=(q1,q2,…,qn)，下列不等式成立： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 4. 限失真编码问题 （1）如何对失真进行度量？ （2）限失真编码的模型如何建立？以数字四舍五入为范例，建立数学模型。 （3）是否可以通过转换将欲进行限失真压缩的信源X转变为Y，然后利用这种对应关系进行编码？ （4）考虑对长序列的信源X转变为长序列Y会呈现什么样的特征？ （5）考虑信源符号间的相关性是冗余度的成因，是否可以建立相关的方式（如函数）来表征这种相关性，从而利于压缩？ Evaluation only. Created wi