小结 信息论和 与编码 .pptVIP

基本信息论 小结 信息度量 不肯定程度与信源概率空间的状态数以及其概率分布有关。 等概分布时，不肯定程度最大。 信息量＝不肯定程度的减少量。 单符号时,发a收到b的信息量为： I=log[p(b/a)/p(a)] 离散信源的熵 熵：信源输出一个消息所提供的平均信息量。 H(x)的一些性质：1、非负性。2、对称性。3、确定性。4、极值性。5、上凸性。6、可加性。 极值性的存在，指明了信源最佳化的目标。 二元联合信源的共熵与条件熵 共熵小于或等于单独熵的和。 条件熵小于或等于无条件熵。 消除相关性的方法：预测、变换、矢量化处理。 相关性信源和不等概信源存在着剩余。 剩余度的定义：相对熵（H/Hmax ) 、剩余度(1- H/Hmax ) 、内熵(Hmax -H) 连续信源的熵 信源的最大熵：有约束的极值问题。 最佳分布： 1。 输出值范围受限的信源－均匀分布 2。 平均功率受限信源－高斯分布 熵功率（高斯型分布） 离散信道的信道容量 离散无记忆扩展信道 独立并联信道 串联信道、数据处理定理 多进制方式的使用，增加信道数，皆可提高最大接收熵速率（信道容量） 信息处理（如编码、译码）只能丢失信息，不能增加或创造信息。 连续有噪信道的信道容量 波形信道、连续信道、基本连续信道。 单符号加性连续信道，H(Y|X)=H(n). 信道容量: C=maxH(Y)-H(n) 单符号高斯加性信道、非高斯加性信道、多维无记忆高斯加性信道（最佳功率分配）、高斯白噪声加性波形信道（香农公式） 连续有噪信道的信道容量 带限(F)、时限(T)条件下波形信道可转化为多维连续信道。 加性信道的特性（转移概率）由加性噪声完全决定（H(n)噪声熵） 高斯分布作为输入信号分布时，有利于信息传输；作为加性噪声分布时不利于信号传输。 使信源与信道匹配的编码 无噪离散信道编码定理。有噪离散信道编码定理 信源最佳化：符号独立化、概率均匀化 最佳编码：Huffman编码、Shannon－Fano码 例题 例1 二元信源，P(0)=p,P(1)=1-p。 信源熵： H(X)=plogp-(1-p)log(1-p)。 H随p变化的情况如下图： p=0.0001:0.01:1; H=-p.*log2(p)-(1-p).*log2(1-p); plot(p,H,r-);xlabel(p);ylabel(H) 例1 例2 题2。符号集X={a1,a2,a3,a4,a5,a6,a7,a8}，出现的概率为P(X)={1/16,2/16,8/16,1/16,1/16,1/16,1/16,1/16}。求剩余度。 解：记 P(X)为行向量形式： p=[1/16 2/16 8/16 1/16 1/16 1/16 1/16 1/16]; 和f(p)=[f(1/16) f(2/16) f(8/16) …]; H(X)为H，p为p的转置。 例2 有： p=[1/16 2/16 8/16 1/16 1/16 1/16 1/16 1/16]; H=-p*log2(p)   H =2.3750 例2 或计算p中的每个元素的p*log2(p)，再作总和。 有：h=-p.*log2(p)   h = Columns 1 through 7 0.2500 0.3750 0.5000 0.2500 0.2500 0.2500 0.2500 Column 8 0.2500 例2 H=sum(h)   H =2.3750 剩余度为： E=1-H/log2(8)   E =0.2083 例3 题3。二元数字通信系统，传送0和1的概率分别为1/4、3/4。为可靠地传输这一消息，重复传输3次，试求剩余度。 例3 解： 重复传输3次的方式为： 传‘0’符号用：‘000’； 传‘1’符号用：‘111’。 对于P(000)=p(0)P(0|0)P(0|00) 有：P(0|0)=1;P(0|00)=1;（重复的特点）。 有：P(000)=1/4; 同理：P(111)＝3/4; 例3 对应的熵为： H=-[1/4*log2(1/4)+3/4*log2(3/4)]   H = 0.8113  这时采用了3符号合并的方式，相应的最大熵为： Hmax=log2(8)=3; 例3 剩余度：E=1-H/3=0.7296 不作重传的E=1-H/1=0.1887; 结论：提高可靠性是以增加剩余度为代价的。 例4 题4。X、Y的联合分布如下表所示 P(x,y) y=0 y=1