32离散无记忆信源及其扩展源祥解.pptVIP

3.2.1 离散无记忆信源 【思考】实际通信过程中，信源发送消息往往不是单个符号，而是符号序列。当字符组成序列(如句子或文章)时，会出现问题。 3.2 离散无记忆信源及其扩展源 3.2.1 离散无记忆信源 【两个新问题】 随着序列的伸延，信源选取字符的概率是否随着时间改变？ 序列前后字符之间是否统计相关？ 假设所讨论的信源是平稳信源，即信源选取字符的概率不随时间改变。 分两种情况来讨论： 字符之间不存在统计关联的信源叫做无记忆信源； 字符之间存在统计关联的信源叫做有记忆信源。 例如，一个袋子里有10个黑球和10个白球。从袋子拿球，有放回的，就相当于无记忆的；无放回的，就是有记忆的。 3.2.1 离散无记忆信源 【特点】 信源发出的各符号之间相互独立； 发出的符号序列中各个符号之间没有统计关联性； 各个符号的出现概率是它自身的先验概率。 3.2.1 离散无记忆信源 【定义】设信源X输出符号集A={a1,a2,…,aq} ，q是信源发出的消息符号个数，每个符号发生的概率为p(ai)(i=1,2,…,q)，这些消息符号彼此互不相关，且满足： 则称该信源X为离散无记忆信源。 3.2.1 离散无记忆信源 【数学模型】离散无记忆信源可用信源空间[X,P(X)]来描述： 3.2.2 单符号离散信源 【引例－例3.1】 掷一颗质地均匀的骰子，研究其下落后朝上一面的点数，将点数作为这个随机试验的结果，并将这个随机试验看作是一个信源。该信源输出了有限个离散数字，组成了符号集A:{1,2,3,4,5,6}，而且每一个数字代表一条完整的消息。 【引例－例3.1】 【分析】 该信源输出的消息数是有限的。 该信源每次只输出一个消息，出现哪一种消息是随机的。 6个不同的消息构成了互不相容的基本事件集合，不可能出现这个集合以外的消息。 【引例－例3.1】 【说明】 利用离散型随机变量X来描述这个信源输出的消息X= (x1,x2, …,x6)，其样本空间即为符号集A。 根据大量试验结果可得：各个消息是等概率出现的，均为1/6。 因此，X的概率分布就是信源发出各种不同符号的先验概率，即p(x1)=1/6，p(x2)=1/6，…，p(x6)=1/6。 【引例－例3.1】 【结论】 抽象后得到该信源的数学模型： 【引例－例3.1】 【结论】 该信源输出的消息只可能是符号集中任何一个，而且每次必定选取其中一个。 单符号离散无记忆信源 (最简单的离散信源) 3.2.2 单符号离散信源 一、单符号离散无记忆信源的定义 【定义】单符号离散无记忆信源发出的消息是离散、有限的符号，且一个符号代表一条完整的消息。 3.2.2 单符号离散信源 二、单符号离散无记忆信源的表示方法 用一个离散随机变量的可能取值，来表示信源可能发出的不同符号 例如：投硬币、书信、电报符号等 用离散随机变量的概率分布，表示信源发出不同符号可能性的大小 三、数学模型 若单符号离散无记忆信源可能发出q种不同的符号{a1,a2,…,aq}，相应的先验概率分别为p(a1)，p(a2)，…，p(aq)，用随机变量X表示这个信源，其信源的数学模型就是离散型的概率空间: 且满足 【例3.2】 对于二进制数字信源X={0,1}，有 【定义】信源输出的各消息的自信息量的数学期望为信源的平均自信息量，称为单符号离散信源的信息熵，简称信源熵。 四、单符号离散信源的熵 3.2.3 离散无记忆信源的N次扩展源 一、二进制离散无记忆信源的二次扩展信源 典型实例 正交相移键控(QPSK) ：根据两个二进制符号00、01、10和11进行相位调制。 一、二进制离散无记忆信源的二次扩展信源 二次扩展信源的数学模型 且 序列长度 N=2 二、二进制离散无记忆信源的三次扩展信源 【典型实例】 三位PCM（脉码调制）信源由8个符号组成： 二、二进制离散无记忆信源的三次扩展信源 【三次扩展信源的数学模型】 X=X1X2X3共输出8个消息符号 （即23），其信源空间为： N次扩展 三、离散无记忆信源的N次扩展信源 【定义】 若信源每次发出N个符号作为一条消息，且各消息符号相互独立，则称为离散无记忆信源的N次扩展信源。 共有qN个符号。 三、离散无记忆信源的N次扩展信源 【数学模型】离散无记忆信源X的N重概率空间： 离散无记忆信源，各符号之间彼此统计独立。 三、离散无记忆信源的N次扩展信源 【合理性】由概率归一化条件得： 三、离散无记忆信源的N次扩展信源 【N次扩展源的熵】 离散无记忆信源X的N次扩展信源的熵等于信源X的熵的N倍