[工学]信息理论与编码2.pptVIP

回答问题: (1)在通信系统中,信源编码和信道编码的作用是什么? (2)什么是全概率公式? 第二章 信源与信息熵第一节 信源的描述和分类 一：符号的信息量 一：符号的信息量 例1（2-3） 英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。 解：“e”的自信息量 I（e）= - log2 0.105=3.25 bit “c”的自信息量 I（c）= -log2 0.023=5.44 bit “o”的自信息量 I（o）= -log2 0.001＝9.97 bit 意义： 符号信息量的性质： 二：信源的平均信息量 例 : 2-6电视屏上约有 500 × 600= 3 × 105个格点，按每点有 10个不同的灰度等级考虑。按等概率计算，平均每个画面可提供的信息量为 定义：在给定Y条件下，X的条件熵 H（X/Y）= 2-10 在一个袋中放入5个黑球、10个白球，以摸出一个球为一次实验，摸出的球不再放进去。求： （1）一次实验X包含的不确定度； （2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度； （3)第一次实验X摸出的是白球，第二次实验Y给出的不确定度； （4）第二次实验Y包含的不确定度。 什么叫全损离散信道? 分析: I（X；Y）＝H（X）-H（X／Y） 如果X与Y是相互独立的，I（X；Y）=0。 信源发出的信息量在信道上全部损失掉了，此时称为全损离散信道 三、数据处理中信息的变化 四、熵的性质 * 三、信源的分类及其数学模型 按照信源发出的符号在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 { 信源 离散信源 连续信源 一、香农信息论的基本点 二、关于概率论的知识 2、连续信源（4） 连续信源是指发出在时间和幅度上连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。数学模型为连续型随机变量或随机过程。。 1、离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 离散信源 { 无记忆（2） { 单个符号离散信源（1） 有记忆（3） 马尔可夫信源 离散序列信源 单符号离散信源的数学模型是离散型随机变量。 建立数学模型应写出其分布列。。 （1）单符号离散信源: 布袋内有100个球，80个红球，20个黑球。拿出一个球 看其颜色。 令 a1=“出现红球”，a2=“出现黑球” 则信源可描述为： 无记忆离散序列信源X=(x1x2…xn) 数学模型是离散型随机向量 P(X)=P(x1,x2,….xn)=P(x1)P(x2)….P(xn)。 （2）无记忆离散序列信源: 布袋内有100个球，80个红球，20个黑球。拿出一个球 放回，再拿一次，观察出现的颜色。 令 a1=“出现红球”，a2=“出现黑球” 则信源可描述为： 有记忆离散序列信源X=(x1x2…xn) 数学模型是离散型随机向量 P(X)=P(x1,x2,….xn) =P(x1)P(x2|x1)P(x3|x1x2)….P(xn|x1x2…xn-1)。 （3）有记忆离散序列信源: 布袋内有100个球，80个红球，20个黑球。拿出一个球 不放回，再拿一次，观察出现的颜色。 令 a1=“出现红球”，a2=“出现黑球” 则信源可描述为： 观察话筒输出的原始语音信号。(幅度连续、时间连续） （4）连续信源: 取一个电池，测量其电压。(幅度连续) 连续信源的数学模型是连续型随机变量或随机过程。 建立数学模型应写出其一维概率密度函数。。 1、符号的自信息量 2、条件自信息量 I(xi/yj):符号在传输过程中损失的信息量。 I(yj/xi):噪声产生的信息量。 第二节 单符号离散信源 3、两个消息xi，yj同时出现的联合自信息量 4、互信息量 第二节 单符号离散信源 传输的信息量 I（xi;yj)=I(xi)-I(xi/yj):接收端获得的信息量 （系统传输的信息量） ：符号xi所提供的信息量 ：符号xi和yj同时提供的信息量 ：收到yj后，xi所包含的信息量（收端角度） ：发出xi后，xj所包含的信息量（发端角度） 若无噪声则为0。 若Xi与Yj相互独立，则：I(xiyj)=I(xi)+I(yj);I(xi/yj)=I(xi) I(yj/xi)=I(yj);I(xi;yj)=0 具有非负性； 为单调递减函数 2-5：居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6m以上，而女孩中身高1.6m以上的占总数一半