信息论基础复习提纲.docx

1、 什么是信息？香农对于信息是如何定义的。 答：信息是事物运动状态或存在方式的不确定性的描述 （In formation is a measure of on es freedom of choice whe n one selects a message ）。 答：（1）、信源：信源是产生消息的源。信源产生信息的速率---熵 率。 答：（1）、信源：信源是产生消息 的源。信源产生信息的速率---熵 率。 、信道编码器（提高传输可靠性） （2）、编码器：编码器是将消 息变成适合于信道传送的信号的设备。包括信源编码器（提高传输效率） 调制器。 （3）、信道：信道是信息传输和存储的媒介。 （4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。 （5）、信宿：信宿是消息的接收者（人或机器） 3、简述香农信息论的核心及其特点。 答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并 得岀了信源编码定理和信道编码定理。 （2）、特点：①、以概率论、随机过程为基本研究工具。 、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点 、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统） 、要求信源为随机过程，不研究信宿。 第二章信息的度量 2.1自信息和互信息 I xi - - log p xi i I xi - - log p xi i；= log （1）、定义：一个事件（消息）本身所包含的信息量，它 是由事件的不确定性决定的。 某个消息Xi岀现的不确定性 的大小定义为自信息，用这个消息岀现的概率的对数的负值来表示: (2 )、性质：①、I (Xi )是p(Xi )的严格递减函数。当 P(X1 ) p(X2 )时 I X1 ■ I X2概率越小，事件发生的不确定性越大，事件发生以后所包 含的自信息量越大。 ②、极限情况下，当 p Xi =0时I )：：；当 I CeiJP Xi = 1 时，I Xi ：r 0。 I CeiJ ③、两个相对独立的不同的消息所提供的信息量应等于它们分另催供的信息量之和，即自信 息论满足可加性。 p xix2 ]= p xi p X2 ； I xix2 I xi I X2。 、英文字母中“ a”出现的概率为0.064，、假定前后字母出现是互相独立的，计算“、假定前后字母出现不是互相独立的，当“岀现以后， “ c”岀现的自信息量。 、英文字母中“ a”出现的概率为0.064， 、假定前后字母出现是互相独立的，计算“ 、假定前后字母出现不是互相独立的，当“ 岀现以后， “ c”岀现的自信息量。 “c”出现的概率为 0.022，分另卅算他们的自信息量。 ac ”的自信息。 a”出现以后， “ c”出现的概率为 0.04，计算“ a” 2、互信息：一个事件yj所给岀关于另一个事件 Xi的信息定义为互信息，用 I xi; yj 表示: l(x; yj 尸 I (xi )一1 (xi | yj )=log P * | yj p xi I y -I yj|x = log p xi yj p x p yj 2.2平均自信息 1、定义：随机变量X的每一个可能取值的自信息 的统计平均值定义为随机变量 X的平均自信息量。  q l(x) H(X) = E[l(x)] =臣 p(Xi)log2P(Xi) i=l 2、熵函数的性质: (1)、对称性： H (P1, P2, Pq) = H(P2, P1, Pq)二 =H (Pq, P1, Pq」) (2)、确定性： H (1,0) =H (1,0,0) H (1,0, 0)=0 (3)、非负性： H(P)二 H(?P2, Pq) —0 (4)、扩展性： 1叫巴 181, P2， Pq - ；，；)二 Hq(P1, P2， Pq) (5)、连续性： lim H (P1, P2, Pq— - ；，Pq ；) =H (?P2, Pq) (6)、递推性： 7.―70 q 1 q 2 qm、 H ( P1 , P2 ^■■■■■■Pn _L, q1 , q 2 gqm)二 H (P1, P2, ：Pn) ■ PnH ( , , ) (7)、极值性： n n n H ( P1, P2, Pn) - pH ( —, —, —) = log 2 n (8)、上凸性： f [ X1 (1 - J X2 ] ：- ： f (% ) (1 -，)f (X2 ) 3、联合熵：联合自信息的 3、联合熵：联合自信息的 数学期望。它是二维随机 H (XY)=W 送 p(Xiyj)l(Xiyj) = —￡ 为 P(xyj)iog2 p(Xiyj) i # j =1 i d j =1 变量XY的不确定性的度量。 由于不同的X，H(Y/x)是变化