第6章 信息率失真函数-------------廖--2013-本科生--这个为准.ppt

第六章 率失真编码-信息率失真函数,保真度准则下的信源编码 连续信源 用连续随机变量描述输出的信源称为连续信源. 第一章给出的定义 根据样本空间X取值分布的不同情况，信源可分为以下类型。 离散信源：消息集X为离散集合。即时间和幅度取值都离散的信源。 连续信源：时间离散而幅度取值连续的信源，如温度，压力等； 波形信源：时间和幅度取值连续的信源，如语言、图像信源等。 连续信源和波形信源输出的消息都可以经过抽样和量化分别处理成时间和幅度取值都离散的消息，因此，本书中主要讨论离散信源的情况。--像数学中的sin(x)，cos(x). 连续信源的数学模型 连续信源基本的数学模型为 R是全实数集，是连续变量x的取值范围 p(x)为x的概率密度 连续信源的熵 连续信源的熵定义为 连续信源的熵并不是实际信源输出的绝对熵 连续信源的绝对熵应该再加上一项无限大的常数 连续信源的可能取值有无限多个，若取值是等概率分布的，那么信源不确定性为无限大 H(X)不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量 连续信源的联合熵和条件熵 两个连续变量X，Y的联合熵和条件熵定义为: 单符号连续信道模型 单符号连续信道模型可用{X,p(y|x),Y}表示 X是输入连续型随机变量，取值区间为[a,b]或实数域R Y是输出连续型随机变量，取值区间为[c, d]或实数域R 信道的传递概率密度函数为p(y|x)，并满足： 基本连续信道示意图 信道输入X满足： 信宿接收Y满足： 连续信道的平均互信息量 连续信道的的平均互信息量定义为 单符号连续信道的信息传输率 单符号连续信道的信息传输率定义为： R＝I(X;Y) 限失真信源编码 “消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息传输率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若RC，则传输总要失真。或总不能实现无失真的传输，使传输错误概率任意小。 但实际上，完全无失真传送不可实现： 实际的信源常常是连续的，而连续信源的绝对熵为无限大，若要 求无失真地传送连续信源的消息，则要求信息传输率R为无穷大； 实际信道带宽是有限的，所以信道容量受限制。为此，在实际通信 中，信源输出的信息传输率总是大大超过信道容量（RC） ，根 据信道编码定理因此不可能实现完全无失真地传输信源的信息。 然而，在实际生活中，人们一般并不要求完全无失真地恢复消息。通常总是要求保证一定质量（一定保真度）的条件下近似地再现原来的消息，也就是允许一定的错误（失真）存在。 复习上一次课主要内容 一、连续信源的数学模型 二、连续信源的熵，联合熵和条件熵，平均互信息量 三、单符号连续信道模型和信息传输率 连续信源的数学模型 连续信源基本的数学模型为 R是全实数集，是连续变量x的取值范围 p(x)为x的概率密度 连续信源的熵 连续信源的熵定义为 连续信源的熵并不是实际信源输出的绝对熵 连续信源的绝对熵应该再加上一项无限大的常数 连续信源的可能取值有无限多个，若取值是等概率分布的，那么信源不确定性为无限大 H(X)不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量 连续信源的联合熵和条件熵 两个连续变量X，Y的联合熵和条件熵定义为: 连续信道的平均互信息量 连续信道的的平均互信息量定义为 单符号连续信道模型 单符号连续信道模型可用{X,p(y|x),Y}表示 X是输入连续型随机变量，取值区间为[a,b]或实数域R Y是输出连续型随机变量，取值区间为[c, d]或实数域R 信道的传递概率密度函数为p(y|x)，并满足： 单符号连续信道的信息传输率 单符号连续信道的信息传输率定义为： R＝I(X;Y) 限失真信源编码 限失真编码：信源编码经过译码后能保留应用要求的信息，允许信源有一定的失真。 为什么要限失真编码？ 连续信源的绝对熵为无限大，由于信道的带宽有限，受信道容量的限制，不可能实现完全无失真对信源信息的传输。(可能性) 信道资源和技术经济因素的限制。(可实现性) 实际应用不必要无失真地恢复信源消息, 不必要完全无失真的信源信息的传输。 (必要性) 数字系统的应用，模拟量的采样量化也会引入失真。 研究背景 无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。 研究背景(续) 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出