信息论 第二章 离散信源及其信息测度1.ppt

第二章 离散信源及其信息测度 2.1.2 连续信源 (一个消息) 信源产生消息、消息携带信息。 举例：掷色子出现1点用 表示…… 输出的消息只能取自符号集 例 掷色子 且 2.1.2 连续信源(一个消息) 2.2.2 信息熵 本节讨论输出单个符号消息的信源的信息测度—自信息和信息熵。 (2) 第一次测量后，可知4个灯泡之一是损 坏的，可能性 (4) 第三次测量后，可能性 2. 自信息函数 的含义 2.2.2 信息熵 (2) H(X) 表示信源输出前信源的平均不 确定性； (1)每个消息所提供的平均信息量（Y大） 例2.4 甲地天气构成的信源空间 2.3 信息熵的基本性质 2.3.1 对称性 2.3 信息熵的基本性质 当信源符号集的个数q 给定，则信源的信息熵就是概率分布P(x)的函数。 2.3.1 对称性 2.3.2 确定性 2.3.4 扩展性 2.3.5 可加性 2.3.6 强可加性 证明：概率矢量 已知 在 上是 型凸函数 詹森不等式 例题：二元信源，输出符号 0，1 概率为： , ,即信源的概率空间为 2.3.9 上凸性 且 2.5 离散无记忆的扩展信源 2.5.1 离散无记忆信源 X 的N次扩展信源 2.5 离散无记忆的扩展信源 实际信源输出的消息往往是时间或空间上的一系列符号。通常情况下，在信源输出序列中，每一位出现哪个符号是随机的，但前后符号的出现是有统计依赖关系的，——离散有记忆信源。 2.5.1 离散无记忆信源X 的N次扩展信源 2、离散无记忆信源X的N次扩展信源 2.5.2 离散无记忆信源 X 的N次扩展信源的熵 已知 证明： 2.3.8 极值性 此式表示在离散信源情况下，信源各符号等概率分布时，熵值达到最大。 最大离散熵定理 设随机矢量 则 当 时, 最大 则信息熵为： 显然: H(X)是 的函数，且 画出熵函数曲线 （书P34) 当 当 熵函数H(p)是概率矢量P的严格 型凸函数（上凸函数）。 分两步:(1)先证明 属于P 所在的凸域。 (2)证明不等式。 设 所以P是一个凸域。 所以H(p)是P 的上凸函数 2.5.2 离散无记忆信源 X 的N次扩展信源的熵 1、平稳离散无记忆信源 信源输出的消息序列是平稳随机序列并且符号之间是无依赖的，即是统计独立的。 信源的概率空间为 信源 ,每个分量 都是随机变量，且取值于同一样本空间 ，且分量之间统计独立。 信源的概率空间为 1、例2.5 已知一个离散无记忆信源X 且 求此信源二次扩展信源的熵。 * * 2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度 2.1 信源的数学模型及分类 2.1.1 离散信源（一个消息） 2.1 信源的数学模型及分类 研究信源各种可能的输出及输出的不确定性，不研究信源的物理结构。 2.1.1 离散信源（一个消息） 定义：可能输出的消息数是有限的或可数的，每次只输出一个消息，即两两不兼容。 数学模型：一维离散随机变量 X 且 特点： 是先验概率 ( i=1,2, …,q ) 消息数有限 （q个） 每次必定输出一个消息（完备） 实数 概率密度 定义:可能输出的消息数是无限的或不可 数的,每次只输出一个消息。 举例:语音输出信号、压力信号等 或 数学模型:一维连续信号变量X 或 2.2 离散信源的信息熵 2.2.1 自信息 2.2 离散信源的信息熵 单个符号的离散信源的数学模型为 2.2.1 自信息 在绪论学习中，给出某消息自信息的定义为： 获得信息量的大小与不确定性消除的多少有关，消除对某事件发生的不确定性就获得了信息量。 例2.1 8个灯泡 串联，已知一个灯泡损坏，分析用万用表检查获得信息量的过程。 (1) 未检查前的损坏可能性 不确定性 不确定性减少了！ 获信息量 其不确定性 (3) 第二次测量后，可知2个灯泡之一是坏 的可能性 不确定性 获信息量 不确定性 获信