2012_信息论导论-第2章_L2.pdfVIP

《《信息论导论信息论导论》》 第第2章章 离散信源及其信息熵离散信源及其信息熵 通信抗干扰技术国家级重点实验室通信抗干扰技术国家级重点实验室 但黎琳但黎琳 年33月月 本章内容提纲 一、自信息量 二、单符号离散信源的信息熵 三、多符号离散信源及其信息熵 6/13/2013 信息论导论-第2章，武刚 2 复习重点： ? 单符号离散信源，及其数学模型； ? 自信息量的定义与性质； ? 单符号离散信源的信源熵定义、性质、最大熵定 理的证明； 信息论导论-第2章，武刚 3 单符号 随机变量 离 散 信 源 信源 多符号 随机矢量 连 续 随机过程 信 源 信源分类 对于离???随机变量，取值于集合 x x 2 x {x 1 , , , , , n ? ? i } 对任一 记其发生概率为 ) x ( P X p ) x = ( = x i i i 单符号离散信源的数学模型为 ? x ? ? x X 2 x ? x , 1 ,, , n ? ? i ? ? ? = ? (2.1.1) ? ) p x ( , ), ( p x , ), ( ), ? ( p x p x ? P ) X ( ? 2 1 ? n ? i n = 1 ) ( 1, ) px ≤ ( 0 ≤ p x 其 中 p ) x ( i 满 i 足 i ∑ (2.1.2) i = 1 一、自信息量 掷骰子这一单符号离散信源可表示为： ? 6 ? 2 1 ? ? ? ? X ? ? ? ? 1 = ? 1 1 ? ? P ) X ( ? ? ? 6 ? ? 6 6 而某一天简单的天气气象这一单符号离 散信源则可表示为： ? x ) ( x ) ( x ) ( ? x ) ( 晴 阴 雨 雪 ? 4 ? 3 ? X 2 ? 1 ? ? 1 ? 1 1 = ? 1 ? ? ? P ) X ( ? ? 8 8 4 ? 2 信息论导论-第2章，武刚 6 复习 ? 自信息量 P x i x ) log( x ) I ( i = ? ? 性质：随机性，非负性，单调递减性 单符号离散信源的信息熵 n n ]()()()() ) ( ) ( i lbPP x x = ? ) i ( ) ( x I P x )] ( [ Ex I = i H X ) ( i = ∑ i ∑ i = 1 i = 1 ? 性质：非负性，上凸性，扩展性，对称性。。。 信息论导论-第2章，武刚 7 联合信息 ) j ( i lbP x ) y x y I ( j i = ? 量 ? j 条件信息量 ) / i ( lbP y x ) y x / j I ( i = ? ) i / j ( lbP x y ) x / y I i ( j = ? j i p x y log ) x( I y j i ?