信源编码新.pptVIP

第4章 信息传输与信道编码 4.1 信息传输概述 －4.1.1 信息传输的概念 －4.1.2信宿从信息传输中所获得的信息 － 4.1.3 信源产生冗余的原因 4.2 信源编码 4.3 信道编码 －4.3.1 信道编码理论 －4.3.2 二元线性吗 4.1 信息传输概述 4.1.1 信息传输的概念 信息可以脱离其源事物独立存在。 信息传输就是信息脱离源事物而附着于一个物理载体并通过载体的运动将信息在空间中从一点传送到另一点。 信息传输的核心问题是保证传输的可靠性、有效性和保密性。 信息传输，其实只是语法信息的传输，且主要是概率语法信息的传输 。 4.1 信息传输概述 4.1.1 信息传输的概念 通常，把一种事物运动的表征脱离源事物而附着于另一种事物的过程，称为信息的表示过程，或叫做“信息变换”过程。 信息在空间中传送的过程，可能要经过多次变换，要变更多种不同的载体。 载体既要能够在空间中转移，又要有能力表示所传输的信息。 把能将自己的某种物理量与所附着的信息建立一一对应关系的物理载体称为信号。 4.1 信息传输概述 4.1.2 信息传输的模型 1．信息传输的基本模型（见图5.1 ） 4.1 信息传输概述 4.1.2 信息传输的模型 2. 信息传输的一般模型 为了保证信息传输的安全与保密，把信息传输的基本模型改为如下图5.2的一般模型： 4.1 信息传输概述 信息传输的四个性质： （1）可靠性－－ 准确地、不失真地。 （2）有效性－－ 信息传输的效率高。 （3）保密性－－ 隐蔽和保护信息。 （4）认证性－－验证正确性、完整性。 4.1.3 信宿从信息传输中所获得的信息量 若对试验一无所知，则可视为等概率事件，则其信息熵： 通过试验后得到的信息熵： 用户R 通过这次试验获得的信息量I(P;R)就是其不确定性的减少，即 若确知试验结果是 xk 发生，则为0-1事件，其概率分布 Ps 为： 其不确定性，即香农信息熵为： 设对 X 的观察前，用户R 相应的先验与后验概率分布为： 用户R 可以从中获得的概率语法信息量为： 只有当P=P0 时，有 I(P;R)=I(P0;R)=0 在一般情况下，有 0 I (P;R) logN P≠P0 考虑理想情况，有 0≤ I (P;R)≤ logN 若P=P0 ，上式左边的等号成立，即 I(P;R)=I(P0;R)=0 表示 R 关于 X 的先验信息量为零； 若P=Ps ，上式右边的等号成立，即 I(P;R)=I(Ps;R)=logN 表示 R 掌握了关于 X 的全部信息，其先验信息量 达到极大值 logN 。 I(P*; R) 就是用户R 关于X 的后验信息量。在理想观察的条件下，用户R关于X 的后验信息量等于X 本身实际包含的信息量，此信息量称为 X 的实在信息量，简记为 I(P*) ，于是 也就是说，用户 R 关于 X 的实得信息量等于X 自身的实在信息量与 R 关于 X 的先验信息量之差。 4.1.4 信源产生冗余的原因 离散无记忆平稳信源传输 由前面的推导过程可看出，信源存在冗余是由于信 源符号概率分布不均匀造成的。 改造离散无记忆平稳信源的具体方法，就是使信源满足均匀的先验概率分布。 无噪声的平稳、离散、无记忆信源（即各元之间相互独立）有效编码的实质是使各元的规律均匀化。 离散有记忆平稳信源传输 由于有记忆信源内部存在关联，它的信息含量密度 就会降低。 应当尽可能消除信源的相关性，把有记忆的信源改 造为无记忆的信源，或把记忆强的信源化为记忆弱 的信源。 常用消除信源相关性的方法：“合并法”和“预测法”。 信源的冗余主要来源于： 一是信源符号概率分布的不均匀， 二是信源符号间的相关性。 信源的相关性和剩余度 离散平稳信源输出符号等概率分布时熵最大，记为H0。则H0=logn 由于信源符号间的依赖关系，使得信源熵减小。为了衡量这种相关性，引入冗余度的概念。定义为： R=1-H∞/ H0 极限熵H∞表示当前符号实际上能够给我们带来的信息量，而H0是熵的最大值。 H∞/ H0表示实际值占最大值的比，称为熵的相对率，记为η η= H∞/ H0 冗余度 R=1- η 4.2 无失真信源编码 4.2.1 编码的有关概念 给出一些码的定义