信息论基础总复习.PPT

图5-1-2 信道模型 转移概率矩阵 输入 输入 信道模型 5.1.2 信道容量 1．如何刻画DMC信道的容量? 考虑一个DMC信道，其输入字符集是X={x0，x1，…，xq-1}，输出字符集是Y={y0,y1，…，yQ-1}，转移概率P（yj／xi）. 若给定信道的转移概率和对应于输入符号的概率分布p（xi）,则 DMC信道容量C为 如何计算信道容量? （1）对称DMC信道的容量 什么叫对称DMC信道? 如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称的；如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC为对称的DMC信道。 信息论基础 总复习 信息论基础 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。 1.1 信息的概念 物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 对于信息论的研究，一般划分为三个不同的范畴： 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。 实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 1.2 信息传输系统 通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。 各种通信系统，一般可概括为图1.1所示的统计模型： 干扰源 信道 信道译码器 信道编码器 信源译码器 信源编码器 信宿 信源 等效信源 等效信宿 等效干扰信道 图1-1 信息传输系统模型 这个模型包括以下五个部分： 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。 5. 信宿 信宿是消息的接收者。 2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。 1.信源 信源是产生消息的源。 编码器 信源编码器，提高传输效率 信道编码器，提高传输可靠性 1.3 离散信源及其数学模型 信源是产生消息的源，根据X的不同情况，信源可分为以下类型： 根据信源的统计特性，离散信源又分为两种： 离散信源 消息集X为离散集合。 波形信源 时间连续的信源。 连续信源 时间离散而空间连续的信源。 无记忆信源 X的各时刻取值相互独立。 有记忆信源 X的各时刻取值互相有关联。 1.4 离散信道及其数学模型 信道是信息传输的通道，如图1-3，信道可看作一个变换器，它将输入消息x变换成输出消息y，以信道转移概率p (y?x )来描述信道的统计特性。 信道 p ( y? x) x y 图1-3 信道模型 无记忆信道 信道的输出y只与当前时刻的输入x有关。 有记忆信道 信道的输出y不仅与当前时刻的输入有关， 还与以前的输入有统计关系 。 信道可以按不同的特性进行分类，根据输入和输出信号的特点可分为： 波形信道 信道的输入和输出都是时间上连续， 并且取值也连续的随机信号。 半连续信道 输入序列和输出序列一个是离散的， 而另一个是连续的。 连续信道 信道的输入和输出都是时间上离散、 取值连续的随机序列，又称为模拟信道 离散信道 信道的输入和输出都是时间上离散、取值 离散的随机序列。离散信道有时也称为数字信道。 根据统计特性，即转移概率p (y?x )的不同，信道又可分类为： 1.4.1 离散无记忆信道 离散无记忆信道的输入和输出消息都是离散无记忆的单个符号，输入符号xi ? { a1 , a2 , … , ak}，1 ? i ? I，输出符号yj ? { b1 , b2 , … , bD }，1 ? j ? J，信道的特性可表示为转移概率矩阵： p (yj?xi )对应为已知输入符号为xi，当输出符号为yj时的信道转移概率，满足0 ? p (yj?xi ) ? 1，且 。 离散集的