Chap2-电信13.ppt

上节课，我们已经对信源有了非常初步的认识，我们知道信源是发出消息的源。信源输出的消息通常都是以各种各样的符号形式出现的，所以我们说信源是发出消息符号，消息序列和连续消息的源。如果信源输出的符号是确定的，那么这条消息就不包含任何信息量；只有当信源发出的某个或某些符号是随机的，无法预先确定的，该符号的出现才会给观察者带来信息。也就是说，我们可以把信源看作产生随机变量、随机序列和随机过程的源。这种表述也体现了信源的基本特性：随机不确定性。具有随机不确定性的事物我们如何来描述？用概率来描述统计特性。 那么，如果我们已知了一个信源它可能发出的所有消息符号，并且还知道每个消息符号出现的概率也就是它的统计特性，那么我们就可以说这个信源是已知的，也就是它的样本空间和概率测度已知，即概率空间已知。反过来，如果概率空间给定，就表示相应的信源已经给定。概率空间能表征信源的统计特性，因此有时也把概率空间称为信源空间，或者说，可以用概率空间来描述信源。 * 在实际应用中，分析信源所采用的方法往往要根据信源所发出的消息的特性而定。按照信源发出的消息在时间上和幅度上的分布情况，可以将信源分成离散信源和连续信源两大类。 首先看连续信源。连续信源是指发出在时间或幅度上是连续分布的连续消息的信源。比如，语音，图像等都是连续消息。 * 离散信源的特点是出现的消息数是有限的，并且每次输出的消息只可能是消息符号集中的一种。离散信源根据发出的消息是否具有记忆性，又可以细分为离散无记忆信源和离散有记忆信源。所谓无记忆，就是说当前发出的消息符号与之前发出的消息符号没有关系。例如，袋子里有100个球，20个红球，80个白球。我每次摸一个，记录颜色，然后又放回去，再摸下一个，记录颜色，再放回去。如果把实验结果看作是信源，那么这个信源就是离散无记忆信源。 * 板书：掷骰子的概率空间。 用一个离散型随机变量X来描述这个信源输出的消息 * * * * * * * * * * * * 文字 H0 H1 H2 H3 … H∞ η γ 英文 4.7 4.03 3.32 3.1 1.4 0.29 0.71 法文 4.7 3 0.63 0.37 德文 4.7 1.08 0.23 0.77 西班牙文 4.7 1.97 0.42 0.58 中文 ≈13 9.41 8.1 7.7 4.1 0.315 0.685 5种文字在不同近似程度下的熵 * 计算汉字的剩余度。假设汉字约为10000个，其中140个汉字出现的概率占50％，625个汉字（含140个）出现的概率占85％，2400个汉字出现的概率占99.7％，其余7600个汉字出现的概率占0.3％，不考虑符号间相关性，只考虑它的概率分布，在这一级近似下计算汉字的剩余度。 类别 汉字个数 所占概率 每个汉字的概率 1 140 0.5 0.5/140 2 625-140＝485 0.85-0.5＝0.35 0.35/485 3 2400-625＝1775 0.997-0.85＝0.147 0.147/1775 4 7600 0.003 0.003/7600 * 实际熵 查表 冗余度 H(x)=-0.5*log2(0.5/140)-0.35*log2(0.35/485)-0.147*log2(0.147/1775)-0.003*log2(0.003/7600) * 为了更经济有效的传送信息，需要尽量压缩信源的剩余度，压缩剩余度的方法就是尽量减小符号间的相关性，并且尽可能的使信源符号等概率分布。 信源编码是减少或消除信源的剩余度以提高信息的传输效率，而信道编码则通过增加冗余度来提高信息传输的抗干扰能力。 从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。 本章小结 * 信源的描述 一个离散信源发出的各个符号消息的集合为： 它们的概率分别为 p(xi): xi的先验概率 单符号离散信源的数学模型—概率空间 a,b,c,…z * 00 01 11 10 状态转移概率矩阵 符号条件概率矩阵 (1)1/2 (1)3/4 (0)1/3 (0)1/4 (0)1/2 (0)1/5 (1)2/3 (1)4/5 s2 s1 s4 s3 马尔可夫信源 * 稳态分布概率 稳态后的符号概率分布 * 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ * 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定