第1篇 信息论基础.ppt

将信道特性表示成图的形式： p (bj?ai )对应为已知输入符号为ai，当输出符号为bj时的信道转移概率，满足： 0 ? p (bj?ai ) ? 1，且 2．平稳信道 如果对于任意正整数m、n，和 ai∈A，bj ∈ B，离散无记忆信道的转移概率满足： 则称为平稳信道。 可见，对于平稳信道， p (yn︱xn) 不随时间变化。这样，平稳信道的模型就是{ X， p (y︱x)，Y } 。 本章主要研究离散平稳无记忆信道。 3．几种常见的离散无记忆信道 （1）二元对称信道（Binary Symmetric Channel，简记为BSC）。 它的输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率p (y?x )如图所示，信道特性可表示为信道矩阵 其中p称作信道错误概率。 （2）无干扰信道 这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系，即 如图所示三元无干扰信道中，x , y ? {0 , 1 , 2 } 对应信道矩阵是单位矩阵 （3） 二元删除信道 对接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。 二元删除信道如图所示，输入符号x ? {0 , 1}，输出符号y ? {0 , e , 1}，转移概率矩阵为： （4） 二元Z信道 二元Z信道如图所示，输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率矩阵为： 三．离散无记忆的扩展信道 N维离散扩展信道的输入和输出都是长为N的消息序列，如图所示： 若xi ? { a1 , a2 , … , ak }，yj ? { b1 , b2 , … , bD }，1 ? i , j ? N。 输入消息序列集： XN = {a1a1… a1 , a1a1… a2 , … , akak… ak } 。 输出消息序列集为YN = {b1b1… b1 , b1b1… b2 , … , bDbD… bD }。 信道的特性用序列的转移概率描述： 当信道无记忆时 且满足： 【例】求二元对称信道的二维扩展无记忆信道的转移概率矩阵。 【解】 二元对称信道的输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率p(0/0) = p(1/1) = 1- p ， p(1/0) = p(0/1) = p，二维扩展后输入和输出都是长为2的符号序列： 可以计算出序列的转移概率 分别为 p (00/00) = p (0/0) ? p (0/0) = (1 - p)2 p (01/00) = p (0/0) ? p (1/0) = (1 - p)p ┇ p (11/11) = p (1/1) ? p (1/1) = (1 - p)2 信道的转移概率矩阵为： 本章是信息论的基本概念，介绍的主要内容有： (1) 信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 信息传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。信源和信宿用来产生和接收消息。信源编码将信源的剩余度剔除，信道编码增加冗余的纠错、检错码元。信道是消息传输的通道。 信源分为离散的和连续的，无记忆的和有记忆的。信源的数学模型为一个样本空间及其概率测度{X ,q (X )}。 信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概率描述。离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆N维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率是序列中对应N个符号的信道转移概率的乘积。 本 章 小 结 华北电力大学电子与通信工程系 第一章 信息论基础 主讲：尼俊红 华北电力大学电子与通信工程系 第一章 信 息 论 基 础 离散信源及其数学模型 信息传输系统的组成 信息和信息科学 离散信道及其数学模型 信 息 论 基 础 近代人认为：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号；信息就是知识。 Winner认为：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容。 Shannon认为：信息的多少等于事件的不确定性的大小。人们已知的消息不是信息，而好像，大概，可能之类的不确切的内容包含着信息。 §1.1 信息和信息科学 一．什么是信息 §1.1 信息和信息科学 信息：是认识主体（人、生物、机器）所感受和所表达的关于 事物运动的状态以及状态的变化规律。 1. 信息的定义 2. 信