信息论大复习(2010-5-31)红字部分 幻灯片.ppt

第一章 绪论;1.1 信息;概率信息、香农信息、狭义信息。 信息表征信源的不确定度，但它不等同于不确定度，而是为了消除一定的不确定度必须获得与此不确定度相等的信息量。 信息的性质： （1）信息是无形的； （2）信息是可共享的； （3）信息是无限的； （4）信息是可度量的。;数据是指能够被计算机处理的数字、字母和符号等具有一定意义的实体。 信号是数据在信道中传输时的具体表现形式，一般表现为电信号。 信息可通过两种方式被发送：模拟方式和数字方式，这两种方式均使用电压产生相应的信号。;1948年，香农在 “贝尔系统技术”杂志上发表了两篇有关“通信的数学理论”的论文，在这两篇论文中，他用概率测度和数理统计的方法，系统地讨论了通信的基本问题，得出了几个重要的带有普遍意义的结论，并由此奠定了现代信息论的基础。 在香农信息论的指导下，为提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。;1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明; 1957，Wolfowitz，1961 Fano，1968 Gallager给出信道编码定理的简洁证明并描述了码率、码长和错误概率的关系，1972年Arimoto和Blahut提出了信道容量的迭代算法; 1956 McMillan证明了Kraft不等式; 1952年Fano码，Huffman码; 1976 Rissanen算术编码; 1977，78 Ziv和Lempel的LZ算法;;1950年汉明码; 1960年卷积码的概率译码，Viterbi译码; 1982年Ungerboeck编码调制技术; 1993年Turbo编译码技术; 1959年，Shannon提出率失真函数和率失真信源编码定理; 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。;信息论的数学基础;概 率;全概率公式;设A、B为任意两个事件，则： P(A+B)=P(A)+P(B)-P(AB) P(A+B+C+D)= ?;贝叶斯法则的意义;4 在空战中甲机先向乙机开火，击中的概率是0.2；若乙机未被击中，就进行还击，击中甲机的概率是0.3；若甲机未被击中，则再进攻乙机，击中的概率是0.2。求在这几个回合中： 1）甲机被击中的概率； 2）乙机被击中的概率。 如果不停射来射去，直到一方被击中，概率各为多少？ 如果甲??和乙机的命中率都是0.1,不停射来射去，直到一方被击中，概率各为多少？说明什么道理?;思考题;自信息和条件自信息量;信息的度量（自信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量； 不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小； 由以上两点可知：概率小 —— 信息量大，即信息量是概率的单调递减函数；;自信息量;互信息和条件互信息;互信息量的性质;互信息量的性质;离散集的平均自信息 ;信息熵（平均自信息 ）;熵的含义;熵函数的数学特性;熵函数的数学特性;熵函数的数学特性;熵函数的数学特性;实际应用;一个更复杂的例子;条件熵;条件熵;噪声熵—H(Y/X ) 表示在已知X 的条件下，对于符号集Y 尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。 存在以下两种极端情况： （1）对于无扰信道，有H (Y︱X ) = 0 （2）对于强噪信道，有H (Y︱X )= H (Y ) ;联合熵;例题：已知信源消息集为X={0,1},接收符号集为Y={0,1}，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率为 p(0)=p(1=1/2) , 计算平均互信息量I( X;Y)及各种熵。 ;（1）由图得： ，先算出 p(xi yj)= q(xi)p(yj︱xi) ;（3） 计算后验概率，得：;噪声熵：;信源的数学模型及其分类;离散无记忆信源;离散平稳信源的信息测度;实现信息传输的有效性和可靠性 有效性：充分利用信道容量 可靠性：通过信道编码降低误码率 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 通信技术研究-------信号在信道中传输的过程所遵循的物理规律，即传输特性 信息论研究-------信息的传输问题（假定传输特性已知）;信道的数学模型及其分类;几个特殊的信道： 无损信道：输入完全由输出决定的信道； 确定信道：输出完全由输入决定的信道； 无噪信道：既是无损信道又是确定信道的信道。 无用信道：从输入不能得到输出的任何信息的信道。;离散