信息论与编码纠错第1章.ppt

  1. 1、本文档共35页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
信道的特性用序列的转移概率描述: 当信道无记忆时 且满足: 【例】求二元对称信道的二维扩展无记忆信道的转移概率矩阵。 【解】 二元对称信道的输入符号x ? {0 , 1},输出符号y ? {0 , 1},转移概率p(0/0) = p(1/1) = 1- p , p(1/0) = p(0/1) = p,二维扩展后输入和输出都是长为2的符号序列: 可以计算出序列的转移概率 分别为 p (00/00) = p (0/0) ? p (0/0) = (1 - p)2 p (01/00) = p (0/0) ? p (1/0) = (1 - p)p ┇ p (11/11) = p (1/1) ? p (1/1) = (1 - p)2 信道的转移概率矩阵为: 本 章 小 结 本章是信息论的基本概念,介绍的主要内容有: (1) 信息是关于事物运动的状态和规律。从通信的角度讲,信息论是应用近代概率统计方法研究狭义信息的度量方法,研究各种信源、信道的描述和信源、信道的编码定理。 信息传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。信源和信宿用来产生和接收消息。信源编码将信源的剩余度剔除,信道编码增加冗余的纠错、检错码元。信道是消息传输的通道。 信源分为离散的和连续的,无记忆的和有记忆的。信源的数学模型为一个样本空间及其概率测度{X ,q (X )}。 信道分为离散的和连续的,无记忆的和有记忆的。信道的数学模型用转移概率描述。离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆N维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率是序列中对应N个符号的信道转移概率的乘积。 作业:某时齐马尔可夫信源,状态转移情况如图所示,设信源符号集为{a1,a2 ,a3},状态集为{s1=xa1,s2=xa2,s3=xa3} 。 (1)求平稳后各状态出现的概率。 (2)若初始时刻l=0时处于状态s1,求l=2时刻x2=a1的概率。 (3)求稳态下字母a3a1a2a1a2的概率。 信息论与编码 第一章 信 息 论 基 础 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科,也是源于通信实践发展起来的一门新兴应用科学。 本章首先引出信息的概念,简述信息传输系统模型的各个组成部分,进而讨论离散信源和离散信道的数学模型,简单介绍几种常见的离散信源和离散信道。 §1.1 信息的基本概念 信息:物质和能量在空间和时间上分布的不均匀程度,或者说信息是关于事物运动的状态和规律。 一.信息的基本含义 二.信息、消息和信号的区别与联系 信息:指事物运动的状态及状态变化的方式,是抽象的意识或知识。 消息:一般指包含有信息的语言、文字和图像,它载荷信息,但它不是物理性的。 信号:是消息的物理体现,消息要传输,必须加载到某种特征的信号上去,它是信息的载体,是物理性的。 通信系统中形式上传输的是消息,实质上传输的是信息,实际上传输的是信号。消息中包含信息,消息是信息的载体。 三.什么是信息论 四.信息论的发展及范畴划分 1.狭义信息论:即通信的数学理论,主要研究狭义信息的度量方法,研究各种信源、信道的描述和信源、信道的编码定理。(香农信息论) 2.实用信息论:研究信息传输和处理问题,也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 3.广义信息论:包括信息论在自然和社会中的新的应用,如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。 信息论:研究信息的基本性质及度量方法,研究信息的获取、传输、存储和处理的一般规律的科学。 §1.2 信息传输系统 信息传输系统模型 1.信 源:产生消息的源。 2.编码器:将消息变成适合于信道传送的信号的设备。 (1)信源编码器:对信源输出的消息进行适当的变换和处理,以达到减少或消除信源冗余度来提高信息的传输速率。 (2)信道编码器:对信源编码器的输出进行变换和处理,通过增加冗余度来提高信息传输的可靠性。 3.信 道:信息传输和存储的媒介。如光纤、电缆、无线电波等。 4.译码器:译码是编码的逆变换,分为信道译码和信源译码。 5.信 宿:消息的接收者。可以是人,也可以是机器。 实际通信系统模型 信道编码 信源编码 保密译码 信道译码 信源译码 保密编码 噪声 信道 信源 信宿 (2)研究某性能时的简化框图——在具体研究某一性能时可将某些功能框合并,以简化 ①有效性研究——把保密编码、信道编码并入信道 信源编码 信源译码 无噪广义信道 信源 信宿 ②可靠性研究——把信源编码、保密编码并入信源 信道编码 信道译码 信道 广义信源 广义信宿 信道编码 信源编码

文档评论(0)

精品家园 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档