编码原理与应用1第一章节幻灯片.pptVIP

编码原理与应用 易迎彦 教材 《信息论与纠错编码》孙丽华 电子工业出版社 2005 参考书 《信息论与编码》 陈运等 电子工业出版社 2002 《应用信息论基础》 朱雪龙 清华大学出版社 2004 《The Theory of Information and Coding》Robert J.McEliece Publishing House of Electronics Industry 学习方法 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 第1章 信息论基础 第1章 信息论基础 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。 1.1 信息的概念 物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 通信系统中形式上传输的是消息，实 质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 对于信息论的研究，一般划分为三个不同的范畴： 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域中的应用。 实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码。 信息论方法应用取得的成果： 语音信号压缩、图像信号压缩、计算机文件压缩、模拟话路中数据传输速率的提高、计算机网中数据传输可靠性的保证等 1.2 信息传输系统 通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。 各种通信系统，一般可概括为图1.1所示的统计模型： 干扰源 信道 信道译码器 信道编码器 信源译码器 信源编码器 信宿 信源 等效信源 等效信宿 等效无干扰信道 图1-1 信息传输系统模型 这个模型包括以下五个部分： 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。 5. 信宿 信宿是消息的接收者。 2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。 1.信源 信源是产生消息的源。 编码器 信源编码器，提高传输效率 信道编码器，提高传输可靠性 1.3 离散信源及其数学模型 信源是产生消息的源，根据X的不同情况，信源可分为以下类型： 根据信源的统计特性，离散信源又分为两种： 离散信源 消息集X为离散集合。 波形信源 时间连续的信源。 连续信源 时间离散而空间连续的信源。 无记忆信源 X的各时刻取值相互独立。 有记忆信源 X的各时刻取值互相有关联。 1.3.1 离散无记忆信源 离散无记忆信源(Discrete Memoryless Source，简记为DMS)输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即： q(xi )：信源输出符号消息xi的先验概率; 满足：0 ? q(xi) ? 1，1 ? i ? I 1.3.2 离散无记忆的扩展信源 实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间： x为各种长为N的符号序列，x = x1 x2 … xN ，xi ? { a1 , a2 , … , ak }，1 ? i ? N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x ? X。 序列的概率q (x) =