第3章_离散信源2.pptVIP

本章内容提要 离散信源的分类及其描述 离散信源的熵 信源的冗余度 信源符号序列分组定理 平稳离散信源及其性质 通信系统的任务是将信源的消息有效可靠地传送到信宿。 信源消息是多种多样的。 本章将重点讨论信源的数学模型以及如何度量信源消息中的信息。 从信源发出的消息在时间上和幅度上的分布 　 分为离散信源和连续信源； 从信源消息是模拟的还是数字的 　 分为模拟信源和数字信源； 　 对数字信源还可分为二进制信源和多进制信源。 对于离散信源，根据符号的特点以及符号间的关联性 　 可分无记忆离散信源和有记忆离散信源 对于前者，又可分为发出单个符号的无记忆离散信源和发出符号序列的无记忆离散信源 对于后者，又可分为发出符号序列的有记忆离散信源和发出符号序列的马尔可夫（Markov）信源 从描述信源消息的随机过程的平稳性角度 　 分为平稳信源和非平稳信源 按随机过程的类别 　 分为高斯信源、马尔可夫信源等 根据人们对信源消息的感知 　 分为数据信源、文本信源、语音信源、图像信源等，其中文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。 信源的分类方法可以有多种，但本质上主要基于两方面的考虑： 一是信源消息取值的集合以及消息取值时刻的集合，由此可分为离散信源、连续信源或数字信源、模拟信源等； 二是信源消息的统计特性，由此可分为无记忆（Memoryless）信源、有记忆（Memory）源、平稳信源、非平稳信源、高斯信源、马尔可夫信源等。 本章讨论离散信源，包括无记忆和有记忆两类。 前者分为发出单个符号的离散无记忆信源和发出符号序列的离散无记忆信源两种， 后者分为发出符号序列的离散有记忆信源和发出符号序列的马尔可夫信源两种。 离散无记忆信源发出的各个消息符号是相互独立的 发出单个符号的离散无记忆信源：每次只发出一个符号且每个符号代表一个消息 发出符号序列的离散无记忆信源：每次发出一组不少于两个的符号序列来代表一个消息。 离散有记忆信源发出的各个消息符号是相互关联的 发出符号序列的离散有记忆信源 －－关联性可用其联合概率来表示 发出符号序列的马尔可夫信源 －－关联性可用其条件概率来表示 研究信源最主要的目的是为信源编码服务。 信源编码的目标是用尽可能少的码元符号或尽可能低的数据速率来描述信源输出的消息。 怎样的信源编码才是好的或者说是有效的? 信源参数测量 离散信源的数学模型及其信息的度量 可以简单地将自然语信源定义为以人类的自然语言作为输出消息的信源。 自然语言又可以分为书面语言和声音语言两大类 书面语言由一个个文字符号构成，是一种典型的离散信源， 也是信息论中首先讨论和研究最多的信源， 以英文和中文为例讨论书面语言， 声音语言的信源放在第6章讨论。 英文信源 先将英文看成仅由26个字母和空格构成，即暂不考虑标点符号及其他。 英文中字母的组合构成单词，单词的组合构成句子，句子的组合构成段落和文章。 在某一个统计集合中能得出其字母、单词、句子的分布概率。 例如通过大量统计得到的26个字母和空格的出现概率如表3. 1所示。它构成了英文字母和空格的信源空间。 仅仅按照表中的出现概率随机构成的一串字母序列通常并不能构成英文单词，。 其构成还有许多语法和修辞方面的制约，这种制约在数学关系上的反映就是其关联性。 中文信源，通常指汉字 由字组词、由词组句、由句成文的本质与英文一样 中文与英文的重要区别是每个单字都有明确的意义，而且数量巨大 收入《辞海》的汉字有1.5万左右 收入《康熙字典》、《汉语大字典》分别超过了4万个和6万个。 要给出汉字的信源空间，须对大量的汉字文献进行统计 新华社曾对2亿左右的汉字作了统计，得出了1850个汉字的使用率为98%的结论 当被统计的数量趋于无穷时，每个汉字的使用频率应该趋于平稳 汉字统计的成果已被总结成国家标准 例如：GB2312-80、GB18030-2000等， 给出了一级字库、二级字库和三级字库 由于文字的使用总是与时俱进的，这种统计的工作必然一直是有意义的。 与英文类似，汉字同样必须考虑其关联性。 可以用符号的联合概率或条件概率来描述自然语信源的关联性。 对于英文，可以将包含K个字母的单词看成是具有K个字母的符号序列，或称为K重符号序列，将其作为一个整体消息，其联合概率就已考虑了字母与字母间的关联性了。 也可以把由汉字组成的中文词汇作为符号序列。 还可以将句子、段落甚至整篇文章分别作为符号序列来考虑，用联合概率来描述。 有了符号或符号序列的信源空间就可以度量它们出现时所给出的信息量，并可以计算它们的信源熵