信息论编码ppt方案.ppt

第二章 信源及其熵 第一章的几个推论 通信系统模型： 2.1 信源的数学模型及分类 离散信源定义: 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 离散信源数学模型 在通信系统中,收信者在未收到消息以前,对信源发出什么消息是不确定的,随机的,所以可以用随机变量、随机矢量或随便过程来描述信源输出的消息，当信源给定，其相应的样本空间和概率分别（或概率密度函数）就给定，即概率空间就已给定，反之，如果概率空间给定，这就表示相应的信源已给定。概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。或者说可以用概率空间来描述信源. (1)单个符号的离散无记忆信源 特点:信源可能输出的消息数是可数的或者有限的,而且每次只输出一个符号代表一个消息. 例:扔一颗质地均色子,研究其下落后,朝上一 面的点数.那么研究其落下后,朝上一面的点数,必定有6种状态,构成互不相容的基本事件集合 那么该信源的样本空间就为 (2)符号序列离散无记忆平稳信源 离散平稳信源:信源发出的符号都相互统计独立，即各随机变量Xi (i＝1,2,…,N)之间统计独立,且随机矢量X的各维概率分别都与时间起点无关. 总结:如果有一离散信源,取值于集合ai ＝(a1a2…aq),其输出消息序列可用一组组长度为N的序列表示,这时,它就等效为一