信息论chapt1,2资料.pptVIP

信息论回答了通信中的二个问题 临界数据压缩的值（熵） 临界通信传输速率（信道容量） 信息论回答了通信中的二个问题 通信方面 纠正了通信理论认识误区，以前人们认为：信息传输速率越高，出错的概率越大，香农证明了只要通信的速率低于信道容量，这个观点是不对的。 音乐等随机信号有一个不可再降低的复杂度，低于这个复杂度，信号不可再压缩，这个最低复杂度就是熵（香农熵） 信息论与其他学科的关系 计算机科学 一组数据串的复杂度可以定义为计算该数据所需要的最短二进制程序的长度。 一般认为Kolmogorov复杂度比香农熵更基础 信息论与其他学科的关系 物理学 孤立系统，熵永远增加。 通信中的熵和热力学中的熵的关系仍有科学家关注 信息论与其他学科的关系 经济学中财富的增长率与股票市场的熵率有对偶关系。 计算受制通信速度，而通信又受制与计算速度。二者互相影响。以信息论为基础通信理论会对计算理论有影响。 信息论的奠基人(Shannon) – 1940年 Doctor of MIT 美国科学家香农（C. E. Shannon）在1948年和1949年先后 发表的两篇文章“The mathematical theory of communication”和“Communication in the presence of noise”，奠定了信息论的基础。 香农在这两篇论文中，讨论了信息的度量、信息特征、信 息传输速率、信道容量、干扰对信息传输的影响等问题， 全部理论建立在信息是可以度量的基础上，但他没有给出 信息的定义，只是提出问题，分析问题，得出结论。 Chapter 1 Introduction Chapter 1 Introduction Chapter 1 Introduction Chapter 1 Introduction Chapter 1 Introduction Chapter 1 Introduction （4）带限信道传输信息的能力；最主要的结论是信道容量公式，或称为Shannon公式。 （5）基于信息传输时允许一定程度的失真和差错（Error）所展开的讨论；由此得到信息率失真理论、Shannon第三定理、信息价值等。这是目前还在不断发展和完善的理论，在通信以外的学科不断得到应用。 （6）围绕通信网的发展带来的信息传输问题所展开的讨论；即网络信息理论，随着通信网、因特网的发展，它越来越受到重视。 （7）围绕通信的保密所展开的讨论。包括保密通信的技术体制及数学模型，传输线路保密技术的信息论基础，信息保密技术的基础知识以及保密通信的各种方法等。 ? 本课程主要涉及(1)-(4) 信息论与编码的关系 ? 信息论与编码的关系 ? 信息论为编码提供了理论基础，编码是信息论的应用 ? 编码历史上的几次大突破 ? 1. 1950 Hamming的分组码 ? 2. 1967 Viterbi的卷积码译码算法 ? 3. 1993 Turbo码的发现和Turbo译码算法 Chapter 2 Information measure Chapter 2 Information measure 一个随机事件所含信息量大小，与该事件发生概率的大小有关。发生概率越小的随机事件，所含信息量越大。发生概率越大的随机事件，所含信息量越小。 2.1.1 自信息量 2.1.1 自信息量 2.1.1 自信息量 2.1.2 条件自信息量 2.1.2 条件自信息量 2.1.3 互信息量 2.1.3 互信息量 2.1.3 互信息量 2.1.3 互信息量 Chapter 2 Information measure 2.2 离散集的熵(entropy, 平均自信息量) Chapter 2 Information measure 2.2.2 熵的基本性质 Chapter 2 Information measure 2.2.2 熵的基本性质 Chapter 2 Information measure 2.2 离散集的熵 2.2.5 熵、共熵、条件熵之间的关系 Chapter 2 Information measure Chapter 2 Information measure Chapter 2 Information measure Chapter 2 Information measure Exercise 2. 8 将p(x1)=0.6，p(x2)=0.4，p(y3/x1)=0.2，p(y3/x2)=0.1代入上式，可得： p(x1/y3) = 0.75 x1、x2是对立事件，故有：p(x1/y3) + p(x2/y3) = 1 可得： p(x2/y3)