第1专题1聊城大学课件.pptVIP

2、仙农关于“信息”的定义 由于信息已成为许多专家学者争相研究的对象，而且他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如，“信息是事物之间的差异”，“信息是物质与能量在时间与空间分布的不均匀性”，“信息是收信着事先不知道的东西”等等。 仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多； “信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。 消息（符号）的 自信息： 后验概率：条件概率 —接收端收到消息（符号） 后而发送端发的是 的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量） 4.仙农关于信息定义和度量的优点和局限 优点 它是一个科学的定义，有明确的数学模型和定量计算； 它与日常生活中关于信息的理解不矛盾； 它排除了对信息一词某些主观性的含义，是纯粹形式化的概念； 4.仙农关于信息定义和度量的优点和局限 局限 这个定义的出发点是假设事物的状态可以用一个以经典集合论为基础的概率模型来描述，然而实际存在的某些事物运动状态很难用一个合适的经典概率模型来描述，甚至在某些情况下不存在这样的模型； 这个定义和度量没有考虑收信者的主观性和主观意义，也抛开了事物本身的具体含义、用途、重要程度和引起的后果等，这与实际不完全一致。 物质 客观世界三大基本要素 能量 信息 信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什麽都不存在，没有能量什麽都不发生，没有信息什麽都没意义。” 信息的三个基本层次： 语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息 语法(Syntactic)信息 它是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。象语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为，概率信息、偶发信息、确定信息、模糊信息等。 语义(Semantic) 信息 是事物运动的状态和变化方式的含义。在语言学里，研究“词与词的结合方式含义”的学科称为语义学。 语用(Pragmatic)信息 是事物运动状态及其状态改变方式的效用。 研究语义信息要以语法信息为基础，研究语用信息要以语义信息和语法信息为基础。三者之间，语法信息是最简单、最基本的层次，语用信息则是最复杂、最实用的层次 1.信息论的产生与发展 技术背景 仙农的信息论的创立主要是由于仙农的杰出贡献，但也与当时的技术发展背景和前人的工作密不可分。当时通信理论与技术已有较大发展，存在的主要通信技术与手段有：电报(Morse,1830’s)、电话(Bell,1876)、无线电报(Marconi,1887)、AM 无线电(1900’s 早期)、单边带调制(Carson,1922)、电视(1925-1927)、电传(1931)、调频(Armstrong,1936)、脉码调制(Reeves,1937-1939)、 声码器(Dudley,1939)、 扩频(1940’s)等。 理论背景 1948年以前，Nyquist，Hartley等人也做了许多有影响的工作。例如Nyquist发现传输速率正比与在单位时间信号电平数目的对数（1924）；Hartley提出“传输速率”，“码间干扰”，“系统传输信息的容量”等术语；Wiener，Rice等人把随机过程作为通信工程师的工具。所有这些都为信息理论的建立产生了重要影响。 仙农的主要工作 1948年，发表《通信的数学理论》，奠定了信息论的理论基础； 1956年，发表The Zero-Error Capacity of a Noisy Channal （《噪声信道的零差错容量》），开创了零差错容量的研究领域； 1959年，发表Coding Theorem for a Discrete Source with a Fidelity Criterion （《在保真度准则下的离散信源编码定理》），