信源与信源熵.pptVIP

2021/3/27 * 例2-2:有一个二元二阶马尔可夫信源,其信源符号集为{0,1},已知符号条件概率: p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5 求: ⑴画出完整的二阶马尔可夫信源状态转移图 ⑵求状态转移概率 ⑶求平稳分布概率 2021/3/27 * 状态转移概率矩阵 符号条件概率矩阵 (1)1/2 (0)1/2 (0)1/3 (1)2/3 00 01 11 10 s2 s1 s4 s3 (1)3/4 (0)1/4 (0)1/5 (1)4/5 2021/3/27 * 稳态分布概率 稳态后的符号概率分布 * 这种由信源X输出的L长随机序列X所描述的信源称为离散无记忆信源X的L次扩展信源。 * * * * 2021/3/27 * 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 第二章 信源与信源熵 2021/3/27 * 2.1 信源的描述和分类 2.1.1 信源的描述与分类 2.1.2 无记忆信源 2.1.3 有记忆信源 2.1.4 马尔可夫信源 2021/3/27 * 信源 信源 产生消息(符号)、消息序列和连续消息的来源 信源的基本特性:具有随机不确定性。 信源的表示方法:随机变量、随机矢量、随机过程。 信源的分析方法:概率论、随机过程。 2021/3/27 * 信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类:离散信源和连续信源。 根据信源输出的信号之间是否有相关性,可将信源分成无记忆信源和有记忆信源两大类。 2021/3/27 * 离散无记忆信源 离散有记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 连续信源 离散信源 信源 2021/3/27 * 2.1 信源的描述和分类 2.1.1 信源的描述与分类 2.1.2 无记忆信源 2.1.3 有记忆信源 2.1.4 马尔可夫信源 2021/3/27 * 离散 信源 { 离散无记忆信源 离散有记忆信源 { { 发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 2021/3/27 * 单符号离散无记忆信源的描述 一个离散信源发出的各个符号消息的集合为: 它们的概率分别为 单符号离散信源的数学模型—用一维离散随机变量X及它的概率测度p(xi)构成的概率空间来描述。 p(ai)是 ai的先验概率 2021/3/27 * 例如扔骰子,每次试验结果必然是1～6点中的某一个面朝上。 用一个离散型随机变量X表示骰子投掷的点数。 2021/3/27 * 连续信源: 输出在时间和幅度上都是连续分布的消息 单符号连续无记忆信源的描述 单符号连续无记忆信源的数学模型—用连续型随机变量X及其概率密度pX(x)构成的概率空间来描述。 2021/3/27 * 符号序列离散无记忆信源的描述 发出符号序列的离散无记忆信源数学模型—用随机序列（或随机矢量）描述信源的输出,用联合概率分布表示信源特性。 设信源输出的随机序列为 X =(X1,X2,…Xl…XL) Xl∈{x1,x2,… xn} 随机序列的联合概率 2021/3/27 * 当信源无记忆时 若序列的统计特性与时间推移无关,称为平稳随机序列。 2021/3/27 * 2.1 信源的描述和分类 2.1.1 信源的描述与分类 2.1.2 无记忆信源 2.1.3 有记忆信源 2.1.4 马尔可夫信源 2021/3/27 * 离散有记忆信源 所发出的各个符号的概率是有关联的。 2.1.3 有记忆信源 引入条件概率来反映信源发出的符合序列内各个符号之间的记忆特征。 2021/3/27 * 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑴ ⑵ ⑶ 2021/3/27 * 概率论基础 无条件概率、条件概率、联合概率的性质和关系 ⑷ ⑸ ⑹ 2021/3/27 * … 二元序列 三元序列 L元序列 2021/3/27 * 2.1 信源的描述和分类 2.1.1 信源的描述与分类 2.1.2 无记忆信源 2.1.3 有记忆信源 2.1.4 马尔可夫信源 2021/3/27 * 2.1.4 马尔可夫信源 马尔可夫信源 一类相对简单的离散平稳信源 该信源在某一时刻发出字母的概率除与该字母有关外,