数字通信原理_4：信息论基础.pdf

数字通信原理 数字通信原理 第四章 信息论基础 第四章 信息论基础 2010 Copyright 2010 Copyright SCUT DTP Labs SCUT DTP Labs 1 第四章 信息论基础 第四章 信息论基础 1、消息与信息 消息与信息 (1) 消息是由符号、文字、数字、语音或图像组成的序列； (2) 消息是信息的载体，信息是消息的内涵；消息中可能包 载体 内涵 含信息，也可能不包含信息； (3) 收到一则消息后，所得的信息量，在数量上等于获得 消息前后“不确定性”的消除量； 不确定性 (4) 通信的目的在与传送信息。 2010 Copyright 2010 Copyright SCUT DTP Labs SCUT DTP Labs 2 第四章 信息论基础 第四章 信息论基础 2、信息度量的概念 信息度量的概念 (1) 某消息的信息量＝获得该消息后不确定性的消除量； 不确定性可能性概率问题： 信息量可用概率的某种函数来度量 信息量可用概率的某种函数来度量 (2) 不同的消息有信息量的多少的区别，因此 信息的度量方式应满足信息量的可加性 信息的度量方式应满足信息量的可加性 信息量应该是满足可加性的概率的函数。 2010 Copyright 2010 Copyright SCUT DTP Labs SCUT DTP Labs 3 第四章 信息论基础 第四章 信息论基础 3、离散信源信息的度量 3、离散信源信息的度量  离散信源的信息量 离散信源的信息量 离散信源统计特性的描述方法－－概率场 概率场 设离散信源包含N种可能的不同符号，相应的概率场可表述为 X : x x x 1 2 N         p X : p x1 p x2 p xN 概率场满足条件： N