相关管理信息学课件4.4.7抗干扰信道编码定理.pptVIP

2018-5-22 4.4.7 抗干扰信道编码定理 信道编码 抗干扰信道编码定理 抗干扰信道编码定理之逆定理 2018-5-22 由于信道中存在噪声，因而信道传输信息的质量必然会下降。噪声越严重，传输信息能力就会越差，当噪声严重到一定程度，传输信息就成为不可能。 只要信息要在空间上从一点传向另一点，就必须经过信道，理想的信道，也就是无噪声的信道是不存在的。通常，在有噪声存在的信道上传输信息，难免会发生差错。 但是在同样的噪声条件下，如果进行有效的信道编码，就可以改善信息传输的可靠性，减少接收到的信息的差错。 4.4.7 抗干扰信道编码定理：信道编码 2018-5-22 直观地看，在有噪声信道上，信息传输的可靠性与信息传输率之间是矛盾的，要提高可靠性就必须牺牲传输率。但只要选择合适的编码和译码方法，既可以使信道的信息传输率保持在一定水平上，又可以使最小平均错误译码概率达到尽可能小的程度。 那么，信道信息传输率最高能达到什么样的水平？最小平均错误译码概率又能小到什么程度？香农第二编码定理就是针对这些问题的。 4.4.7 抗干扰信道编码定理：信道编码 2018-5-22 定理4.17 设有一离散无记忆平稳信道，该信道有 r个输入符号，s 个输出符号，其信道容量为 C，只要信息传输率 RC，则存在一种编码，当输入序列长度N足够大时，译码错误概率任意小。 定理4.17被称为抗干扰信道编码定理,也称为香农第二编码定理。 4.4.7 抗干扰信道编码定理：抗干扰信道编码定理 2018-5-22 定理4.18 设有一离散无记忆平稳信道，其信道容量为C，若信息传输率 R C ，则无论 N 取多大，也找不到一种编码，使平均译码错误概率任意小。 4.4.7 抗干扰信道编码定理：抗干扰信道编码逆定理 2018-5-22 信息失真 当 R C 时，总能找到一种编码，在信道上能以任意小的错误概率，任意接近C的传输率传送信息。 但当 R C 时就不能实现无失真传输。这时就必须减小信源的信息熵 H (X) 使 R C 条件满足，因而产生信息失真。 4.5 限失真信源编码定理 2018-5-22 允许产生失真的原因 由于连续信源的信息熵为无限大，若要求无失真地传送连续信息，则C必须无限大；但固定信道的信道容量是有限的，因而不可能实现无失真传输连续信息； 为了提高存储或传输效率，就必须对有待传送的信息进行压缩，也会出现失真； 在实际生活中，人们并不要求完全无失真地恢复信息，且不同的使用环境，允许有不同的失真。 在允许一定程度失真的条件下，如何能够快速地传输信源信息？(信息)率失真理论 4.5 限失真信源编码定理 2018-5-22 信息压缩与保真度 如果预先定义的平均失真度为D*，则称信息压缩后的失真度D不大于D*的准则为保真度准则。 信息压缩问题就是对于给定的信源，在满足保真度准则的前提下，寻找信息率的下限。（寻找再现信源消息所必须获得的最低平均信息量） 信息率失真函数：在满足保真度准则的信道中，寻找一个信道，使给定的信源经过此信道传输时，其信息传输率达到最小，称此信息传输率R为(信息)率失真函数，记为R(D)。 4.5 限失真信源编码定理 2018-5-22 限失真信源编码定理(香农第三定理) 定理4.19 设R(D)为一离散无记忆信源的信源率失真函数，并且有有限的失真测度。只要满足信息传输率 R R(D)，则对于任意小的  0，允许失真值D ≥ 0，以及任意足够长的码长 N，则一定存在一种信源编码C，使得译码的平均失真度 d(C) ≤ D+ 。 反之，若R R(D)，则无论采用什么样的编码方法，都不能使译码的失真度 ≤ D + 。 4.5 限失真信源编码定理 2018-5-22 讨论 在允许失真 D 确定后，总存在一种编码方法，使编码后的信息传输率大于 R(D) 且可任意接近 R(D)，即在保真度准则下，不存在任何编码，使得其编码后的信息传输率小于 R(D)，R(D) 是保真度准则下的极限。 若存在某种编码，其编码后的信息传输率小于 R(D) ，则该编码不可能满足保真度准则，即其失真将大于允许失真。 如果信道容量 C R(D)，则总能以保真度D+再现信源的信息，反之，若 C R(D)，则不可能以保真度D的要求再现信源的信息。 4.5 限失真信源编码定理 2018-5-22 实际应用 在给定信源 S 和允许失真度 D 之后，可以求得率失真函数 R(D)。若将该信源在某容量为 C(R(D)) 的信道中传输，则我们可对给定信源 S 先进行信源压缩编码，使编码后的信息传输率 R 满足： C R ≥ R(D) 然后将压缩后的信源输入信道传输。 4.5 限失真信源编码定理 2018-5-22 练习题 1.