3.2_离散无记忆信源及其扩展源解说.pptVIP

3.2.1 离散无记忆信源 【思考】实际通信过程中，信源发送消息往往不是单个符号，而是符号序列。当字符组成序列(如句子或文章)时，会出现问题。 3.2 离散无记忆信源及其扩展源 3.2.1 离散无记忆信源 【两个新问题】 随着序列的伸延，信源选取字符的概率是否随着时间改变？ 序列前后字符之间是否统计相关？ 假设所讨论的信源是平稳信源，即信源选取字符的概率不随时间改变。 分两种情况来讨论： 字符之间不存在统计关联的信源叫做无记忆信源； 字符之间存在统计关联的信源叫做有记忆信源。 例如，一个袋子里有10个黑球和10个白球。从袋子拿球，有放回的，就相当于无记忆的；无放回的，就是有记忆的。 3.2.1 离散无记忆信源 【特点】 信源发出的各符号之间相互独立； 发出的符号序列中各个符号之间没有统计关联性； 各个符号的出现概率是它自身的先验概率。 3.2.1 离散无记忆信源 【定义】设信源X输出符号集A={a1,a2,…,aq} ，q是信源发出的消息符号个数，每个符号发生的概率为p(ai)(i=1,2,…,q)，这些消息符号彼此互不相关，且满足： 则称该信源X为离散无记忆信源。 3.2.1 离散无记忆信源 【数学模型】离散无记忆信源可用信源空间[X,P(X)]来描述： 3.2.2 单符号离散信源 【引例－例3.1】