信息论与编码总复习.pptxVIP

第1章绪论2025/9/291重点掌握信息的特征信息、消息、信号的联系和区别通信系统的物理模型一般了解信息论理论的形成和发展过程信息论的研究内容

信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。信息的特征2025/9/29201信息是可以量度的，信息量有多少的差别接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识信息可以产生，也可以消失，同时信息可以被携带、贮存及处理020304

消息、信号和信息2025/9/293信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息是抽象的、非物理的 哲学层表达信息的物理层表达信息的数学层表达

通信系统模型简介2025/9/294信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥

第2章信源及信源熵2025/9/295重点掌握信源的分类和数学描述自信息量、互信息离散信源熵离散序列信源的熵熵的性质一般了解连续信源熵冗余度

信源分类2025/9/296离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源

信源的数学描述2025/9/297用一维离散型随机变量X来描述这些信息的输出。数学模型单符号无记忆信源01很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。设信源输出的随机序列为X，序列中的变量符号序列无记忆信源02

信源的数学描述2025/9/298有记忆信源的联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征。

信源的数学描述2025/9/299m阶马尔可夫信源一阶马尔可夫信源

自信息量2025/9/2910logo随机事件的自信息量定义为其概率对数的负值，即I(xi)含义:当事件xi发生以前，表示事件xi发生的不确定性当事件xi发生以后，表示事件xi所含有的信息量

自信息量的特性2025/9/2911I(xi)是非负值当p(xi)=1时，I(xi)=0当p(xi)=0时，I(xi)=∞I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)两个独立事件的联合信息量等于它们分别的信息量之和。即：统计独立信源的信息量等于它们分别的信息量之和。

联合自信息量2025/9/2912两个消息xi，yj同时出现的联合自信息量01当xi,yj相互独立时，有p(xiyj)=p(xi)p(yj)，那么就有I(xiyj)=I(xi)+I(yj)。02xiyj所包含的不确定度在数值上也等于它们的自信息量。03

条件自信息量2025/9/2913在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi/yj)，则它的条件自信息量定义为条件概率对数的负值：在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。联合自信息量、条件自信息量和自信息量0102

信源熵2025/9/2914离散信源熵为信源中各个符号不确定度的数学期望01信源熵的物理含义表示信源输出前信源的平均不确定性表示信源输出后每个符号所携带的平均信息量02

条件熵在给定yj条件下，xi的条件自信息量为I(xi/yj)，X集合的条件熵在给定Y（即各个yj）条件下，X集合的条件熵在给定X（即各个xi）条件下，Y集合的条件熵条件熵是在联合符号集合XY上的条件自信息量的联合概率加权统计平均值。条件熵H(X/Y)表示已知Y后，X的不确定度。

联合熵2025/9/2916联合熵是联合符号集合XY上的每个元素对xiyj的自信息量的概率加权统计平均值01联合熵H(XY)表示X和Y同时发生的不确定度。02联合熵、信源熵和条件熵之间的关系03

定义：xi的后验概率与先验概率比值的对数互信息2025/9/29171事件xi是否发生具有不确定性，用I(xi)度量。2接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi/yj)度量。3接收到某消息yj后获得的关于事件xi的信息量，用I(xi;yj)表示。

平均互信息（量）平均互信息2025/9/291801互信息量I(xi;yj)在X集合上的统计平均值为02I(X;yj)在Y集合上的概率加权统计平均值

平均互信息量的物理意义2025/9/2919H(X/Y)：信道疑义度，损失熵信源符号通过有噪信道传输后引