信息论与编码复习1-2new.pptVIP

第1章　绪论 重点掌握 信息的特征 信息、消息、信号的联系和区别 通信系统的物理模型 一般了解 信息论理论的形成和发展过程 信息论的研究内容 信息的特征 信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理 信息是可以量度的，信息量有多少的差别 消息、信号和信息 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式 信息是抽象的、非物理的 哲学层表达 通信系统模型简介 第2章　信源及信源熵 重点掌握 信源的分类和数学描述 自信息量、互信息 离散信源熵 离散序列信源的熵 熵的性质 一般了解 连续信源熵 冗余度 信源分类 信源的数学描述 单符号无记忆信源 用一维离散型随机变量X来描述这些信息的输出。 数学模型 符号序列无记忆信源 很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。 设信源输出的随机序列为X， 序列中的变量 信源的数学描述 有记忆信源的联合概率表示比较复杂，需要引入条件概率来反映信源发出符号序列内各个符号之间的记忆特征。 信源的数学描述 自信息量 随机事件的自信息量定义为其概率对数的负值，即 自信息量的特性 I xi 是非负值 当p xi 1时，I xi 0 当p xi 0时，I xi ∞ I xi 是先验概率p xi 的单调递减函数，即 当p x1 ＞p x2 时，I x1 ＜I x2 两个独立事件的联合信息量等于它们分别的信息量之和。即：统计独立信源的信息量等于它们分别的信息量之和。 联合自信息量 两个消息xi，yj同时出现的联合自信息量 当xi, yj相互独立时，有p xi yj p xi p yj ，那么就有 I xi yj I xi +I yj 。 xi yj所包含的不确定度在数值上也等于它们的自信息量。 条件自信息量 在事件yj出现的条件下，随机事件xi发生的条件概率为p xi / yj ，则它的条件自信息量定义为条件概率对数的负值： 在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。 联合自信息量、条件自信息量和自信息量 信源熵 离散信源熵为信源中各个符号不确定度的数学期望 信源熵的物理含义 表示信源输出前信源的平均不确定性 表示信源输出后每个符号所携带的平均信息量 条件熵 在给定yj条件下，xi的条件自信息量为I xi/yj ，X集合的条件熵 在给定Y（即各个yj）条件下，X集合的条件熵 在给定X（即各个xi）条件下，Y集合的条件熵 条件熵是在联合符号集合XY上的条件自信息量的联合概率加权统计平均值。 条件熵H X/Y 表示已知Y后，X的不确定度。 联合熵 联合熵是联合符号集合 XY上的每个元素对xiyj的自信息量的概率加权统计平均值 联合熵H XY 表示X和Y同时发生的不确定度。 联合熵、信源熵和条件熵之间的关系 互信息 定义： xi的后验概率与先验概率比值的对数 事件xi是否发生具有不确定性，用I xi 度量。 接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I xi / yj 度量。 接收到某消息yj后获得的关于事件xi的信息量，用I xi; yj 表示。 平均互信息 互信息量 I xi; yj 在X集合上的统计平均值为 I X; yj 在Y集合上的概率加权统计平均值 平均互信息量的物理意义 H X/Y ：信道疑义度，损失熵 信源符号通过有噪信道传输后引起的信息量损失。 信源X的熵等于接收到的信息量加损失掉的信息量。 H Y/X ：噪声熵，散布度 它反映了信道中噪声源的不确定性。 输出端信源Y的熵H Y 等于接收到关于X的信息量I X;Y 加上H Y/X ，这完全是由信道中噪声引起的。 熵的性质 非负性 H X ＝H x1,x2,……,xn ≥0　等号在p xi 1时成立 对称性 H x1,x2,……,xn ＝ H x2,x1,……,xn 熵函数只与随机变量的总体结构有关 确定性 H 0,1 ＝H 1,0,0,……,0 ＝0 只要信源符号集中有一个符号的出现概率为1，信源熵就等于零 熵的性质 香农辅助定理 对于P＝ p1,p2, ……,pn 和Q＝ q1,q2, ……,qn 对任意概率分布pi，它对其他概率