2012_信息论导论-第2章_L1.pdfVIP

《《信息论导论信息论导论》》 第第2章章 离散信源及其信息熵离散信源及其信息熵 通信抗干扰技术国家级重点实验室通信抗干扰技术国家级重点实验室 但黎琳但黎琳 年33月月 本章内容提纲 一、自信息量 二、单符号离散信源的信息熵 三、多符号离散信源及其信息熵 6/13/2013 信息论导论-第2章，武刚 2 复习 ? 什么是信息？ 消息中所包含的具有不确定性的成分 ? 信息论的目标 ? 有效、可靠信息传递 ? 香农信息论 ? 3个定义---度量 ? 3个定理---性能极限 ? 3种编码---技术实现 信息论导论-第2章，武刚 3 信息论的研究内容 “一个定义(信息量)，3个度量，3个定理” 信息论导论-第2章，武刚 4 通信系统模型通信系统模型 通信系统传输的是信号，信号承载着消息，消 息中的不确定成分是信息。 消 信 信号+ 恢复的 息 信 编码 号 信 干扰 译码 消息 信 源 器 道 器 宿 干 扰 噪声 源 无条件概率、条件概率、联合概 率满足下面一些性质和关系： ≤ 1 ) ( ) ( ) ( ) ( ) p ( ab p b a0 p a ≤ b p b p a 、 、 、 、 j i j i 11 i j j i i j i ) ( ) ( j ) 22 i ( = ) j ( p ) pa p a p pb b ab ab ( j i = m m n = a p b 1, ) ( p b 1, ) = ( 1 p ) a ( = ， i 33 j ∑ 规范性 ∑ j ∑ i j = 1 j = 1 i = 1 n m n ,()1 1 j ∑∑) i p a b ( = 1, ∑ ) b p a j ( i = i = j 1 = 1 i = 1 m n n 4 i j ∑ i ) = ( ) j ( ), ∑ ( i ) j / p pa 44 ab = ( p ) b ( j a p b ∑ ) p b p ab ( j i = j = 1 i = 1 i = 1 55 当 Y X 与 相 互 独 立 时 j ) ( ) ( i p p b ) a p a b ( j i = i ) ( j ) i ( p a ) ( j b p a ) p b a p b i ( j ＝ ， ＝ ) ( p ab ) p ab ( j i ＝ j i ， ) i j ( p a b 6 m 6 ) p ab j ( i n = ) ∑ j i ( p ab ∑ ) p ab ( j i j = 1 i = 1 离散信源 信源输出的是一个个 符号，这些符号的取值是有限的或可数的。 单符号离散信源 只涉及一 个随机事件的 离散信源。可用离散随 机变量来描述。 多符号离散信源 涉及多 个随机事件