第2讲离散信源的非平均信息量和熵2014.pptVIP

第二讲 熵和互信息量;信源;信息、消息和信号;2.1 离散信源的数学模型及信息测度（I）;信源的数学描述; 根据信源输出的消息的不同随机性质可以对信源进行分类： 按照某时刻信源输出消息的取值集合的离散性和连续性, 信源可分为离散信源和连续信源。 按照信源输出消息的所对应的随机序列中随机变量前后之间有无依赖关系，信源可分为无记忆信源和有记忆信源。 按照信源输出消息的所对应的随机序列或随机过程的平稳性, 信源可分为平稳信源和非平稳信源。;离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。 数学模型： ;数学模型：;离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的。;由离散无记忆信源输出N长的随机序列构成的信源。 ;离散平稳信源：输出的随机序列 中每个随机变量 取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变。 连续平稳信源：输出的随机序列 中每个随机变量 取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变 离散无记忆信源：离散信源在不同时刻发出的符号之间是彼此统计独立的。;有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 随机波形信源：信源输出的消息在时间上和取值上都是连续的。; 设单符号离散信源的概率空间为 ;;(1) I (xi)是非负值 (2) 当p(xi) = 1时，I(xi) = 0 (3) 当p(xi) = 0时，I(xi) = ∞ (4) I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)＞p(x2)时，I (x1)＜I (x2) (5)两个独立事件的联合信息量等于它们分别的信息量之和，即统计独立信源的信息量等于它们分别的信息量之和。;二进制码元0,1，当符号概率为p(0)=1/4, p(1)=3/4,则这两个符号的自信息量为： I(0) =-log2 (1/4)=log24= 2 bits I(1) =-log2 (3/4) =0.4151 bits; ;;联合自信息量和条件自信息量关系;信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，称为信源的信息熵，也叫信源熵或香农熵，简称熵。 熵函数的自变量是X表示信源整体，熵是离散无记忆信源平均不确定度的度量。 自信息表示某一消息所含有的信息量，它是一个随机变量，不能用它来作为整个信源的信息测度。;信源熵H(X)的物理含义 － 观测X所获得的平均信息量； － 信源X的平均不确定度； （反映了随机变量X的随机性） －消除信源不确定度所需要的信息量度. －对该信源输出进行无错编码所需的最小编码长度; ; 高清电视屏上约有 1920*1080 = 2.0736×106个格点，按每格点有8个不同的灰度等级考虑，则共能组成 个不同的画面。; 有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供的 信息量为 H(X) ＝ log2N ≈ 1.3 × 104 bits ;例如有两个信源，其概率空间分别为:; 该信源X输出符号只有两个,设为0和1输出符号发生的概率分别为p和q，p＋q=l，即信源的概率空间为 ;0 0.2 0.4 0.6 0.8 1; 条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为：; 联合离散符号集合XY上的每个元素对 的联合自信 息量的数学期望。 ;熵、条件熵、联合熵关系;一个二进信源X发出符号集{0,1}，经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知: X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率：