华电信息论全套资料.ppt

离散无记忆信道（DMC，Discrete Memoryless Channel）的输入和输出消息都是离散无记忆的单个符号，设输入符号xi ? { a1,a2,…, ak}，1 ? i ? I，输出符号yj ? { b1 , b2 , … , bD }，1 ? j ? J，信道的特性可表示为转移概率矩阵： 二．离散无记忆信道 1．离散无记忆信道特性描述 将信道特性表示成图的形式： p (yj?xi )对应为已知输入符号为xi，当输出符号为yj时的信道转移概率，满足： 0 ? p (yj?xi ) ? 1，且 （Y完备） 2．平稳信道 如果对于任意正整数m、n，和 ai∈A，bj ∈ B，离散无记忆信道的转移概率满足： 则称为平稳信道。 可见，对于平稳信道， p (yn︱xn) 不随时间变化。这样，平稳信道的模型就是{ X， p (y︱x)，Y } 。 本章主要研究离散平稳无记忆信道。 2．几种常见的离散无记忆信道 （1）二元对称信道（Binary Symmetric Channel，简记为BSC）。 这是一种很重要的信道，它的输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率p (y?x )如图所示，信道特性可表示为信道矩阵： 其中p称作信道错误概率。 （2）无干扰信道 这是一种最理想的信道，也称作无噪信道，信道的输入和输出符号间有确定的一一对应关系，即 如图所示三元无干扰信道中，x , y ? {0 , 1 , 2 } 对应信道矩阵是单位矩阵 （3） 二元删除信道 对接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。 二元删除信道如图所示，输入符号x ? {0 , 1}，输出符号y ? {0 , e , 1}，转移概率矩阵为： （4） 二元Z信道 二元Z信道如图所示，输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率矩阵为： 三．离散无记忆的扩展信道 N维离散扩展信道的输入和输出都是长为N的消息序列，如图所示： 若xi ? { a1 , a2 , … , ak }，yj ? { b1 , b2 , … , bD }，1 ? i , j ? N。 输入消息序列集： X = {a1a1… a1 , a1a1… a2 , … , akak… ak } 。 输出消息序列集为Y = {b1b1… b1 , b1b1… b2 , … , bDbD… bD }。 信道的特性用序列的转移概率描述： 当信道无记忆时 且满足： 【例】求二元对称信道的二维扩展无记忆信道的转移概率矩阵。 【解】 二元对称信道的输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率p(0/0) = p(1/1) = 1- p ， p(1/0) = p(0/1) = p，二维扩展后输入和输出都是长为2的符号序列： 可以计算出序列的转移概率 分别为 p (00/00) = p (0/0) ? p (0/0) = (1 - p)2 p (01/00) = p (0/0) ? p (1/0) = (1 - p)p ┇ p (11/11) = p (1/1) ? p (1/1) = (1 - p)2 信道的转移概率矩阵为： 作业：某时齐马尔可夫信源，状态转移情况如图所示，设信源符号集为{a1，a2 ，a3}，状态集为{s1=xa1，s2=xa2，s3=xa3} 。 （1）求平稳后各状态出现的概率。 （2）若初始时刻l=0时处于状态s1，求l=2时刻x2=a1的概率。 （3）求稳态下字母a3a1a2a1a2的概率。 信息论与编码 第一章 信 息 论 基 础 离散信源及其数学模型 信息传输系统的组成 信息和信息科学 离散信道及其数学模型 信 息 论 基 础 近代人认为：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号；信息就是知识。 Winner认为：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容。 Shannon认为：信息的多少等于事件的不确定性的大小。人们已知的消息不是信息，而好像，大概，可能之类的不确切的内容包含着信息。 §1.1 信息和信息科学 一．什么是信息 §1.1 信息和信息科学 信息：是认识主体（人、生物、机器）所感受和所表达的关于 事物运动的状态以及状态的变化规律。 1. 信息的定义 2. 信息的特征 ① 信息是无限的 ② 信息是可以压缩的 ③ 信息是可传递的 ④ 信息是可以量度的 ⑤ 信息是可以共享的（具有可扩散性）