关于信息论基础总结.pdfVIP

第1章 信息论基础 信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 狭义信息论 信息论研究的范畴： 实用信息论 广义信息论 信源 信源编码器 信道编码器 信息传输系统 信 道 信息传输系统的五个组成部分及功能： 信宿 信源译码器 信道译码器 1. 信源 信源是产生消息的源。 2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。 编码器分为信源编码器和信道编码器两种。 3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。 离散信源及其数学模型 X 离散信源—消息集 为离散集合，即时间和空间均离散的信源。 连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。 X X 无记忆信源— 的各时刻取值相互独立。有记忆信源— 的各时刻取值互相有关联。 离散无记忆信源的数学模型—离散型的概率空间： x a a a i I X  x x  x  i∈{ , ,…, }k 1≤ ≤ 1 2  1 2 I     x I 0≤q( )≤1 q(X) q(x ) q(x )  q(x )   i  q(x )1 1 2 I i i1 N 离散无记忆 维扩展信源的数学模型： x＝xx x x a a a i N X x x  x … N i∈{ , ,…, } 1≤ ≤k     1 2 1 2  X  1x 2x mx  N q( ) q( ) q( )  q( )    q(x ) 1 2 m q x q xx x