信源的分类精选.pdfVIP

授课题目 信息论的数学基础与信源的分类 授课类型 理论课 首次授课时间 学时 2课时 掌握信息论涉及的数学基础； 教学目标 理解信源的分类； 信息论的数学基础； 重点与难点 平稳信源、MARKOV 信源的理解； 教学手段与方法 讲授 教学过程：（包括授课思路、过程设计、讲解要点及各部分具体内容、时间分配等） 授课思路与过程设计： （1） 信源的分类，特别是离散信源的分类：离散无记忆信源、N 次扩展信源、 平稳信源。 （2） 信源的单位与举例说明 （3） 信息熵 讲解要点： （1） 信源的分类，注意对平稳信源、无记忆信源以及扩展信源的理解； （2） 信源的基本单位与举例说明 （3） 信息熵的基本概念与理解 时间分配： 内 容 时间分配 复习 5分钟 信源的分类 20分钟 信源的单位与举例说明 30分钟 信息熵 30分钟 小结 5分钟 一、信源的分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具 体的。消息不是信息本身，但消息包含和携带着信息。因此，要通过消息来研究信源。 在通信系统中收信者在未收到信息以前，对信源发出什么消息是不确定的，是随 机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用 一个样本空间及其概率——概率空间来描述信源。由于不同信源输出的消息不同，因 此，可以根据消息不同的随机性质来对信源进行分类。 有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。 例如，扔一颗质地均匀的骰子，研究其落下后，朝上一面的点数。每次试验结果必然 是 1 点至 6 点其中的一点，这种信源输出消息是“朝上的一面是 1 点”、…、“朝上的一 面是 6 点”等六个不同的消息。每次试验只出现一种消息，出现哪一种消息是随机的， 但必定是出现这六个不同的消息构成两两互不相容的基本事件集合，用符号a 来表示 i 这些信息，得这信源的样本空间为符号集 : { , , , , , } A a1 a2 a3 a4 a5 a6 。由大量试验结果表明， 各消息都是等概率出现的，都等于 1/6。因此，可以用一个离散型随机变量X 来描述这 个信源输出的消息，这个随机变量X 的样本空间就是符号集A ，而X 的概率分布则是 各消息出现的先验概率，抽象后得到这个信源的数学模型如下： ⎡a , a , a , a , a , a ,⎤ X 1 2 3 4 5 6 ⎡ ⎤ ⎢ ⎥ ⎢1 1