信息理论与编码2.pptVIP

回答问题: (1)在通信系统中,信源编码和信道编码的作用是什么? (2)什么是全概率公式?;第二章 信源与信息熵第一节 信源的描述和分类;2、连续信源（4） 连续信源是指发出在时间和幅度上连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。数学模型为连续型随机变量或随机过程。。 ;单符号离散信源的数学模型是离散型随机变量。 建立数学模型应写出其分布列。。 ;无记忆离散序列信源X=(x1x2…xn) 数学模型是离散型随机向量 P(X)=P(x1,x2,….xn)=P(x1)P(x2)….P(xn)。 ;有记忆离散序列信源X=(x1x2…xn) 数学模型是离散型随机向量 P(X)=P(x1,x2,….xn) =P(x1)P(x2|x1)P(x3|x1x2)….P(xn|x1x2…xn-1)。 ;观察话筒输出的原始语音信号。(幅度连续、时间连续）;一：符号的信息量;一：符号的信息量;例1（2-3）;意义：;符号信息量的性质：;二：信源的平均信息量;例 :;定义：在给定Y条??下，X的条件熵 H（X/Y）= ;4、 平均互信息量;： I（X；Y）= H（X）一H（X／Y ） I（X；Y）= H（Y）一 H（Y／X） 3） I（X；Y）= I（Y；X） 4) I(X;Y)=H(X)+H(Y)-H(XY) ;2-10 在一个袋中放入5个黑球、10个白球，以摸出一个球为一次实验，摸出的球不再放进去。求： （1）一次实验X包含的不确定度； （2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度； （3)第一次实验X摸出的是白球，第二次实验Y给出的不确定度； （4）第二次实验Y包含的不确定度。;例2-9：二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码。设：u0---发出一个0；u1—发出一个1；v0—收到一个0；v1—收到一个1。 P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2. (1)已知发出一个0，求收到符号后的信息量； (2)已知发出一个符号，求收到符号后的信息量； (3)已知发出的和收到的符号，求能得到的信息量； (4)已知收到的符号，求被告知发出的符号能得到的信息量。;作业: 2-3(3)(4）, 2-6 , 2-9, 2-12;什么叫全损离散信道? ; 数据处理定理 (1) : 当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。 ;四、熵的性质