信息论与编码第8章香农信息论的局限性与发展展望.pptVIP

第8章 香农信息论的局限性与发展展望 香农信息论在通信领域的应用非常成功，香农的理论面对的是通信问题，所以信息的语义可以被抛弃，因此香农抛弃了消息的意义，以便于对问题进行简化和形式化，这导致信息论并不对所有的信息技术领域的问题普适。 8.1 信息论现实应用的局限性 香农信息论的局限性已有不少讨论，比如，信息论摒弃了语义和语用等因素，信息论没有考虑模糊性粗糙性等不确定性。在信息的表示中，采用的是经典的集合论，而且集合中的元素一般是一视同仁对待的，比如完全相反的信息（概率交换），其信息量是相同的。 第一，把来自信源的消息当作完全可靠性的和完备的，不考虑其可靠性和完备性，只考虑从信源到信宿之间通信的可靠性。 第二，信息论中，没有考虑到信源提供的信息并不满足信宿需要的情况，比如，信息是不完全的，或者消息只是与信宿需要的信息相关，而不是直接是信宿需要的内容，比如，信源只是提供了某生的一部分期终考试成绩，或者是他的平时成绩，而信宿需要的是他的期终考试全部的成绩。 第三，在信息论中，信息的指向是信源，只要接收的消息和信源一致，就达到了通信的目的。 8.2 信息论中表征、参数和模型的制约 　　信息论的局限性实际上可以从它对信息的表征、参数和模型等方面的制约上进行分析。香农用概率论、经典集合论以及建立的一些模型来研究信息。我们可以逐一从这些方面进行分析。 8.2.1 成也模型，败也模型 香农非常成功地通过数学模型，将非常复杂的通信问题数学化，从而用数学工具解决了通信中的基本理论问题，在通信应用中获得了巨大的成功。但是，当人们试图将信息论应用到更为广阔的领域的时候，就会发现非常牵强，甚至说不通。这体现了现实问题必然与信息理论中存在不吻合的地方。 　　我们以通信系统的模型为例，我们前面已经讨论过其没有充分考虑到可能存在更为复杂的信道，多重的、有变异的信道。实际上模型一般蕴含着参数，这些参数本身也可能是非常复杂的。 　　一种模型的建立往往需要对问题进行有意无意的简化，特别需要注意的是有些简化是人们无法察觉到的，这些简化往往限制了对问题的自由表达。要解除这些局限，就是要把现实中的事物的特性更加自由地用一种数学模型来表达。 　　一般的密码系统，应该有H(M|K,C)=0，但是这是必然的吗？如果这种限制可以打破，这种打破可能会设计一些具有什么新颖功能的密码算法？ 检视本教材的所有模型是否存在局限性，是否一定如书本上所定义的那样？ 　　我们考虑常用密码系统的模型中，往往对存在对一些对象的制约，比如对加密的密码体制有制约，一般算法是不变的，如果是分组密码，则一般明文和密文是等长度的，分组密码的分组长度是固定的，明文、密文和密钥的函数关系限制在明文的一个分组内。 　　一个密码系统（密码体制）通常由五个部分组成，我们称为五元组： 　　明文空间M，全体明文的集合 　　密文空间C，全体密文的集合 　　密钥空间，全体密钥的集合K＝（Ke，Kd） 　　加密算法E，C＝E(M, Ke) 　　解密算法D, M=D(C, Kd)，D是E的逆变换 8.2.2 概率论的局限性 　　信息论是基于概率论的，信息的表示就离不开概率，我们上溯到信息论的基础-概率论，可以发现这些问题也涉及到概率论的局限性，概率论在许多根本性的问题上依然存在不停的争议，比如关于概率的解释，就存在很多种，主观、客观和频率等不同的解释，这些观点都存在一定的局限性，特别是贝叶斯论者与频率论者一直在争论，贝叶斯论者也分为主观和逻辑等派别。作者认为从多重随机性的角度，可以看待和解释这其中的一些争议。 　　概率是用来描述随机现象的，但是概率本身也可能是随机变量，概率论中蕴含着许多的前提条件，有些虽然没有明确写出来，但是不知不觉会体现在其理论中，而且人们也很难发现其存在，这样我们会不觉陷入其中而不认为局限性的存在。 以上我们提到，概率值本身可能具有随机不确定性，甚至多重不确定性，乃至无穷重的不确定性，而且集合本身也有不确定性，这些问题叠加起来，将会异常复杂，甚至于对这个问题都无法用有效的模型来表达 8.2.3 参数的有限性制约 从上述例子，我们可看出，有时候要真实地表示一些现实的问题，可能是无法实现的，或者需要无限的参数，但是我们要研究问题，从数学上分析与求解，却需要减少参数，至少来说，参数应该是有限的，但是从上面的例子可以看出真实表征概率可能需要无限参数，类似的，表征其他的问题照样可能需要无穷的参数，这当然造成问题不可表达，不可求解。其实，即使参数有限，当参数足够多的时候，求解和研究许多问题都会变得几乎不可能。 8.2.4 信息量对条件的相对性 　　在信息论中，任何信息的度量都以一个集合作为前提条件，面对不同的集合，得到不同的信息量。比如，同样是中国人发出的声音，对于一个关注说话人说的内容—语音对应的汉字序列；对于一个