信息理论与编码.pptVIP

回答问题:什么是连续信源的最大熵定理?如何计算均匀分布信源熵?如何计算正态分布信源熵?如何计算指数分布信源熵? 第3章 信道与信道容量第一节：信道容量的概念与信道分类 第二节：单符号离散信道容量 3.3 离散序列信道及其容量 扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 3.3离散序列信道及其容量（续） 独立并联信道 序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL) 第四节：连续信道及其容量一、单符号连续信道 第四节：连续信道及其容量(续)二、符号序列连续信道 三、波形信道及其容量 讨论 讨论 （1）电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，求信道的容量。 （2）具有6.5MHz带宽的某高斯信道，若信道中信号功率与噪声功率谱密度之比为45.5MHz，试求其信道容量。 信源与信道的匹配问题: （1）符号匹配。 （2）信息匹配。 信源所要求的信息率R=I(X;Y)不能超过信道容量。 越接近信道容量越好。 例3-12 第4章 信息率失真函数 4.1 信源的失真测度一、失真函数 * 信道容量的定义: X、Y为输入和输出信源符号；P（Y/X）为信道传输特性 信道分类:分类一：根据传输特性分类（一）有噪信道与无噪信道。H(Y/X)=0?（二）有损信道和无损信道。H(X/Y)=0?  信道分类:分类二：根据符号类型（一）离散信道(1)离散单符号信道 二进制对称信道 又称为离散无记忆信道（DMC） 信道分类:分类二：根据符号类型（一）离散信道：(2)离散序列信道 （二）连续信道：单符号： 符号序列： 波形信道： （三）离散输入、连续输出信道 模拟通信系统 叠加噪声的数字通信系统 一、强对称信道信道转移概率矩阵行、列都对称。 p(bj/ai)行对称——--H(Y/X)=H(Y/ai)p(bj/ai)列对称：则若p(ai)=1/n,必有p(bj)=1/m 强对称信道的容量：I（X；Y）=H(Y)-H(Y/X)当p(ai)=1/n时，有p(bj)=1/m，此时Hmax(Y)=logm信道容量为：C=logm-H(Y/ai) 二、准对称信道 定义：p(bj/ai)行对称 p(bj/ai)列不对称 （１）当输入信源等概率分布时，互信息量达到对大值（信道容量）。 准对称信道分析定理 （１）当输入信源等概率分布时，互信息量达到对大值（信道容量）。 四、一般信道１、定理 发送ai的条件下,收到Y后从Y中获得的关于ai的平均信息量。 当互信息量达到最大值时(C)，发端每个p(ai)不为0的符号对输出端提供相同互信息量(C)。 1 1 1 1 1 BSC的二次扩展信道(误码率为0.9) 00 10 11 01 00 01 10 11 C1＝log2-H(0.9,0.1) ＝0.53比特/symbol C2＝2 C1= 1.062比特/序列 1 1 1 1 X1 p(Y1/X1) Y1 X2 p(Y2/X2) Y2 …… XL p(YL/XL) YL ? 广播信道？多址信道？ 当X~N（0，S）时 带宽W一定时，信噪比SNR与信道容量Ct成对数关系 Ct SNR 信道容量与信噪比的关系 Ct一定时，带宽W增大，信噪比SNR可降低，即两者可以互换。 当输入信号功率PS和噪声的功率谱密度N0一定，增加信道带宽，可以增加容量 ln(1+x) ? x （3）设一幅黑白电视图像有400万个像素组成，每个像素可等概率的取16个亮度电平。若用3KHz带宽的信道传送它，且信道中信号噪声功率比为10db。试计算传输该电视图像需要多少时间。 信源编码的作用:将信源的信息转换为码元符号 信源编码分为:无失真信源编码； 限失真信源编码。 例如:ASCALL编码,PCM,JPEG,MPEG等信源编码。 在信源编码时，称R=I(X;Y)为信息率。 若R=H(X),称为无失真编码。 无失真编码的信息率较大,对后级信道容量要求高。 若降低信息率，会产生编码的失真。 本章研究（1）编码失真的度量问题 后三种失真函数适用于连续信源，前一种适用于离散信源。 * *