《信息论基础》PPT课件.ppt

图1-6无干扰信道2100111122.无干扰信道这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系，p(y?x)=如图1-6三元无干扰信道中，x,y?{0,1,2}，对应信道矩阵是单位矩阵*3.二元删除信道对于接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。二元删除信道如图1-7所示，输入符号x?{0,1}，输出符号y?{0,e,1}，转移概率矩阵为e图1-7二元删除信道1-p0p1011-pp*4.二元Z信道二元Z信道如图1-8所示，信道输入符号x?{0,1}，输出符号y?{0,1}转移概率矩阵为101011-pp图1-8二元Z信道*1.4.2离散无记忆的扩展信道N维离散扩展信道的输入和输出都是长为N的消息序列，如图1-9所示：图1-9N维扩展信道y=y1y2…yNx=x1x2…xNp(y?x)信道若xi?{a1,a2,…,ak}，yj?{b1,b2,…,bD}，1?i,j?N，则长为N的输入消息序列集为X={a1a1…a1,a1a1…a2,…,akak…ak}，x?X，输出消息序列集为Y={b1b1…b1,b1b1…b2,…,bDbD…bD}，y?Y。信道的特性用序列的转移概率p(y?x)=p(y1y2…yN?x1x2…xN)描述。当信道无记忆时，，满足*【例1.6】求二元对称信道的二维扩展信道。解：二元对称信道的输入符号x?{0,1}，输出符号y?{0,1}，转移概率p(0?0)=p(1?1)=1-p，p(1?0)=p(0?1)=p，二维扩展后输入和输出都是长为2的符号序列，x?{00,01,10,11}，y?{00,01,10,11}。可以计算出序列的转移概率p(y?x)分别为：p(00?00)=p(0?0)?p(0?0)=(1-p)2p(01?00)=p(0?0)?p(1?0)=(1-p)p┇p(10?01)=p(1?0)?p(0?1)=p2┇p(11?11)=p(1?1)?p(1?1)=(1-p)2表示成矩阵为*(3)信源分为离散的和连续的，无记忆的和有记忆的。信源的数学模型为一个样本空间及其概率测度{X,q(X)}。本章小结本章是信息论的基本概念，介绍的主要内容有：(1)信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。(2)信息传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。信源和信宿用来产生和接收消息。信源编码器将信源的剩余度剔除，信道编码器增加冗余的纠错、检错码元。信道是消息传输的通道。*(3)信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概率描述。离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆N维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率是序列中对应N个符号的信道转移概率的乘积。*第1章信息论基础*第1章信息论基础内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。*1.1信息的概念消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。*对于信息论的研究，一般划分为三个