通信原理PPT第7章.pptVIP

习题 居住某地区的女孩子有25％是大学生，在 女大学生中有75％是身高160厘米以上的，而 女孩子中身高160厘米以上的占总数的一半。 假如我们得知“身高160厘米以上的某女孩是大 学生”的消息，问获得多少信息量。 习题2 设离散无记忆信源，其 发出的消息为(202120130213001203210110321010021032011223210) 1.此消息的自信息量是多少？ 2.在此消息中平均每个符号携带的信息量是多少？ 习题3 2.3.一幅充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，每张牌的点数都不相同能得到多少信息量？ 它们之间，有如下主要性质： 7.3 信息熵H(x) 7.4 互信息 7.5 无失真离散信源编码定理简介 7.6 无失真离散信源编码 对于互信息有下列主要基本数学性质： 倘若不考虑信源的统计特性，为了实现无失真并有效地编码，应分别满足： 典型的Shannon第一等长编码定理形式 典型Shannon第一变长编码定理形式 具体实现可分为等长码与变长码两类。 1 等长编码 2 变长编码 将信源消息X按概率大小自上而下排序； 从最小两个概率开始编码，并赋予一定规则； 将已编码的两支路概率合并，并重新排序、编码； 重复步骤(3)，直至合并概率归一时为止； 从概率归一端沿树图路线逆行至对应消息和概率，并将沿线已编的“0”与“1”编为一组，即为该消息(符号)的编码。 利用下凸性，定义失真 R(D)函数是互信息对的极小值 理论上的R(D)值是通过改变试验信道特性用求条件极值的方式来达到的。 对于同一类型信源，如何能达到理论上的R(D)值，主要是通过采用不同类型的信源编码来实现的，即不同类型的信源编码可以求得不同形式实际的R′（D)曲线。 理论上R(D)与不同信源编码求得的实际的R′(D)两曲线的差异，正反映了该信源编码性能的优劣。 R(D)函数是限失真下信源编码应达到的理论极限，所以它是限失真信源编码的理论基础与依据。 离散、无记忆、限失真信源编码定理 若有一个离散、无记忆、平稳信源，其信息率失真函数为R(D)，则当通信系统中实际传送信息率R＞R(D)时，只要信源序列L足够长(L→∞)，一定存在一种编码方式C′使其译码以后的失真小于或等于D+ε，且ε为任意小的正整数(ε→0)。反之，若R＜R(D)则无论用什么编码方式其译码失真必大于D。 无失真信源编码定理，是寻求与信源消息(符号)熵相匹配的编码，即 限失真信源编码定理则是寻求与信源单个消息的信息率失真R(D)函数相匹配的编码，即 限失真信源 编码的方法 模拟信号数字化从原理上看一般要经过下列三个基本步骤：取样、量化与编码，它们分别完成对模拟信号横向时间轴的离散化、纵向取值域的离散化，以及将已被离散化的数值编成对应0，1序列的码组，三个步骤中量化是属于典型的限失真编码 一个频带受限于 的基带模拟信号x(t)，可以唯一的被取样周期 不大于 秒的取样序列值所决定。 其中 k为不超过 的整数，由此可知，必有 则最低不失真取样频率 对抽样序列的逐个样值独立地进行量化称为标量量化。其方法是将样值序列的最大取值范围划分成若干相邻的段落，当某样值落在某一段落内时，其输出值就用该段落所对应的某一固定值得来表示。 当量化器Q的输入属于量化区间 时，量化器的输出为yk 均匀量化也称线性量化，其量化区域上的各量化间隔相等。 设量化器的量化范围为（-V,V），均匀量化的量化级数M与量化间隔的关系为 最佳量化器就是在给定输入信号概率密度及量化电平数的条件下，求出一组最佳分层电平与量化电平，使其量化噪声平均功率最小。 若要使Nq最小，标量量化器最优化的必要条件是 对语声信号的量化，希望量化器对于小信号具有小的量化间隔，对于大信号具有大的量化间隔，使得当量化器的输入信号幅度在相当大的动态范围变化时，量化器的输出保持近似相同的量化信噪比，从而扩大了量化器的动态范围。 实现非均匀量化的方法：在发送端将输入信号通过一对数放大器，对信号幅度非线性压缩，然后进行均匀量化、线性编码。在接受端进行反变换：在译码后，通过反对数放大器，对信号幅度进行非线性扩张，以恢复原信号。 理想的对数压缩特性 在PC