第5讲离散无记忆信源课品.pptVIP

第二节 离散无记忆信源 信源分类 离散无记忆扩展信源 离散平稳信源 无记忆信源的熵 2.1 信源的描述与分类 按照信源发出的消息在时间上和幅度上的分布情况，把信源分为： 连续信源：发出在时间上或幅度上都是连续分布的连续消息的信源； (1)时间连续，幅度离散 (2)时间离散，幅度连续(连续信源) (3)模拟信源 2. 离散信源：发出在时间上和幅度上都是离散分布的离散消息的信源。(数字信源) 离散信源又可以细分为： （1）离散无记忆信源：所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 （2）离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。 根据信源发出一个消息所用符号的多少，将离散信源分为： 1. 发出单个符号的离散信源：信源每次只发出一个符号代表一个消息； 2. 发出符号序列的离散信源：信源每次发出一组含两个以上符号的符号序列代表一个消息。 将以上两种分类结合，就有四种离散信源： （1）发出单个符号的无记忆离散信源； （2）发出符号序列的无记忆离散信源； （3）发出单个符号的有记忆离散信源； （4）发出符号序列的有记忆离散信源。 一类重要的符号序列有记忆离散信源----马尔可夫信源： 某一个符