信息论与编码纠错第1章.ppt

信道的特性用序列的转移概率描述： 当信道无记忆时 且满足： 【例】求二元对称信道的二维扩展无记忆信道的转移概率矩阵。 【解】 二元对称信道的输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率p(0/0) = p(1/1) = 1- p ， p(1/0) = p(0/1) = p，二维扩展后输入和输出都是长为2的符号序列： 可以计算出序列的转移概率 分别为 p (00/00) = p (0/0) ? p (0/0) = (1 - p)2 p (01/00) = p (0/0) ? p (1/0) = (1 - p)p ┇ p (11/11) = p (1/1) ? p (1/1) = (1 - p)2 信道的转移概率矩阵为： 本 章 小 结 本章是信息论的基本概念，介绍的主要内容有： (1) 信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 信息传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。信源和信宿用来产生和接收消息。信源编码将信源的剩余度剔除，信道编码增加冗余的纠错、检错码元。信道是消息传输的通道。 信源分为离散的和连续的，无记忆的和有记忆的。信源的数学模型为一个样本空间及其概率测度{X ,q (X )}。 信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概率描述。离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆N维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率是序列中对应N个符号的信道转移概率的乘积。 作业：某时齐马尔可夫信源，状态转移情况如图所示，设信源符号集为{a1，a2 ，a3}，状态集为{s1=xa1，s2=xa2，s3=xa3} 。 （1）求平稳后各状态出现的概率。 （2）若初始时刻l=0时处于状态s1，求l=2时刻x2=a1的概率。 （3）求稳态下字母a3a1a2a1a2的概率。 信息论与编码 第一章 信 息 论 基 础 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。 本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。 §1.1 信息的基本概念 信息：物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 一．信息的基本含义 二．信息、消息和信号的区别与联系 信息：指事物运动的状态及状态变化的方式，是抽象的意识或知识。 消息：一般指包含有信息的语言、文字和图像，它载荷信息，但它不是物理性的。 信号：是消息的物理体现，消息要传输，必须加载到某种特征的信号上去，它是信息的载体，是物理性的。 通信系统中形式上传输的是消息，实质上传输的是信息，实际上传输的是信号。消息中包含信息，消息是信息的载体。 三．什么是信息论 四．信息论的发展及范畴划分 1．狭义信息论：即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。（香农信息论） 2．实用信息论：研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 3．广义信息论：包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。 信息论：研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 §1.2 信息传输系统 信息传输系统模型 1．信 源：产生消息的源。 2．编码器：将消息变成适合于信道传送的信号的设备。 （1）信源编码器：对信源输出的消息进行适当的变换和处理，以达到减少或消除信源冗余度来提高信息的传输速率。 （2）信道编码器：对信源编码器的输出进行变换和处理，通过增加冗余度来提高信息传输的可靠性。 3．信 道：信息传输和存储的媒介。如光纤、电缆、无线电波等。 4．译码器：译码是编码的逆变换，分为信道译码和信源译码。 5．信 宿：消息的接收者。可以是人，也可以是机器。 实际通信系统模型 信道编码 信源编码 保密译码 信道译码 信源译码 保密编码 噪声 信道 信源 信宿 (2)研究某性能时的简化框图——在具体研究某一性能时可将某些功能框合并，以简化 ①有效性研究——把保密编码、信道编码并入信道 信源编码 信源译码 无噪广义信道 信源 信宿 ②可靠性研究——把信源编码、保密编码并入信源 信道编码 信道译码 信道 广义信源 广义信宿 信道编码 信源编码