信息理论与编码.pptVIP

信息理论与编码 第一页，共二十五页，2022年，8月28日 2-5：居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生的消息，问获得多少信息量。A=“女孩”，B=“大学生”，C=“身高1.6m以上”P(B/A)=0.25 P(C/AB)=0.75 P(C/A)=0.5 第二页，共二十五页，2022年，8月28日 第一节：单符号离散信源一：符号的信息量二：信源的平均信息量 1、信息熵 信源X中各符号平均 信息量。单位bit/symbol 第三页，共二十五页，2022年，8月28日 定义：在给定Y条件下，X的条件熵 H（X/Y）= 2、条件熵 相应地，在给定X的条件下，Y的条件熵H(Y/X)定义为 H(Y/X)= H(Y/X):噪声对各符号产生的平均信量，称为噪声熵。 H(X/Y)：在传输符号时平均损失的信息量，称为疑义度。 3、联合熵 H（XY）= 联合熵H（XY）表示X和Y同时提供的符号平均信息量 第四页，共二十五页，2022年，8月28日 4、 平均互信息量 表示通信系统在传输一个符号时，所传送的平均信息量。 各参数的意义总结: H（X）是符号集合X中每个符号包含的平均信息量. I（X；Y）信道上能传输的平均信息量. H（X／Y）称为疑