编码原理与应用1第1章.pptVIP

编码原理与应用;教材 《信息论与纠错编码》孙丽华 电子工业出版社 2005 参考书 《信息论与编码》 陈运等 电子工业出版社 2002 《应用信息论基础》 朱雪龙 清华大学出版社 2004 《The Theory of Information and Coding》Robert J.McEliece Publishing House of Electronics Industry;学习方法 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。;;第1章 信息论基础 ;1.1 信息的概念;对于信息论的研究，一般划分为三个不同的范畴：;信息论方法应用取得的成果：;1.2 信息传输系统 ;这个模型包括以下五个部分：;1.3 离散信源及其数学模型 ;1.3.1 离散无记忆信源 ;1.3.2 离散无记忆的扩展信源 ;1.3.3 离散平稳有记忆信源 ;【例1.4】 某离散平稳信源 ，设信源发出的符号只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj )表示（xi为前一个符号，xj为后一个符号）：;满足 ，由 可计算出当 已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：;1.3.4 马尔可夫信源 ; 马尔可夫信源输出的消息序列与信源的状态满足下列条件： ;【例1.5】某二阶平稳时齐马尔可夫信源，设信源符号集为{a1,a2}，状态集为{s1=a1a1,s2=a1a2或a2a2,s3=a2a1}，各状态之间的转移情况如图1-2所示，求各状态的概率分布。;1.4 离散信道及其数学模型 ;无记忆信道 信道的输出y只与当前时刻的输入x有关。;1.4.1 离散无记忆信道 ;将信道特性表示成图1-4的形式： ;1.二元对称信道(Binary Symmetric Channel，简记为BSC) 这是一种很重要的信道，它的输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率p (y?x )如图1-5所示信道特性可表示为信道矩阵 ， 其中p称作信道错误概率。;图1-6 无干扰信道;3. 二元删除信道 ;1.4.2 离散无记忆的扩展信道 ;【例1.6】 求二元对??信道的二维扩展信道。 ;本 章 小 结;(4) 信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概率描述。 离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆N维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率是序列中对应N个符号的信道转移概率的乘积。 ;