信息论与纠错编码-全套PPT课件.pptx

;第1章 信息论基础 ;;对于信息论的研究，一般划分为三个不同的范畴：;;这个模型包括以下五个部分：;;1.3.1 离散无记忆信源 ;1.3.2 离散无记忆的扩展信源 ;1.3.3 离散平稳有记忆信源 ;【例1.4】 某离散平稳信源 ，设信源发出的符号只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj )表示（xi为前一个符号，xj为后一个符号）：;满足 ，由 可计算出当 已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：;1.3.4 马尔可夫信源 ;;无记忆信源 X的各时刻取值相互独立。;1.4.1 离散无记忆信道 ;将信道特性表示成图1-4的形式： ;1.二元对称信道(Binary Symmetric Channel，简记为BSC) 这是一种很重要的信道，它的输入符号x ? {0 , 1}，输出符号y ? {0 , 1}，转移概率p (y?x )如图1-5所示信道特性可表示为信道矩阵 ， 其中p称作信道错误概率。;图1-6 无干扰信道;3. 二元删除信道 ;1.4.2 离散无记忆的扩展信道 ;【例1.6】 求二元对称信道的二维扩展信道。 ;(3)信源分为离散的和连续的，无记忆的和有记忆的。信源的数学模型为一个样本空间及其概率测度{X ,q (X )}。; (3) 信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概率描述。 离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆N维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率是序列中对应N个符号的信道转移概率的乘积。 ;;内容提要： 根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。 ;2.1 自信息量和互信息量;信息量直观的定义为： 收到某消息获得的信息量 = 不确定性减少的量;1．自信息量 直观地看，自信息量的定义应满足以下四点： ;综合上述条件，将自信息量定义为: (2-1) ;消息xi ;; 【例2.6???某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若： 1.? 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？ ??2.???甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？;1.互信息量 从通信的角度引出互信息量的概念 信源符号X={x1，x2，…，xI} ，xi∈{a1,a2,…,ak}，i = 1, 2 ,…, I。 经过信道传输，信宿方接收到符号 Y = {y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j = 1, 2, …,J。 ;事件xi是否发生具有不确定性，用I(xi)度量。 接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi︱yj)度量。 观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi ; yj )表示： 。;根据概率互换公式p(xi yj) = p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj) 互信息量I(xi ;yj )有多种表达形式: (2-7) (2-8) ;三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(xi ;yj︱zk )定义为： （2-11）;3．互信息量的性质 ;（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。 ;【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应编成7个三位二进制数000，001,…,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100