[工学]信息论基础2012-第二章.pdfVIP

信息论基础 张朝阳（zhzy@zju.edu.cn ） 浙江大学信息与电子工程学系 2012春学期 本课程的定位  本课程是信息科学领域电子信息类专业的重要专业基础 课程，主要用以了解和认识一般通信与信息系统的基本 概念、本质规律与性能极限，并掌握其基本的设计方法 和原则，为进一步深入学习和研究通信与信息系统的新 理论与新技术、学习和研究多用户信息论与网络信息论 奠定基础。 本课程的研究内容  主要介绍信息的基本概念与度量方法、信源无损 压缩及其编码定理、信道容量及信道编码定理、 率失真理论等内容  绪论 （1学时）  信息的概念和度量：熵和互信息 （7学时）  离散无记忆信源的无损压缩编码 （8学时）  信道、信道容量与信道编码定理 （10学时）  率失真理论与限失真信源编码 （6学时） 本课程的基本要求  重点掌握信息的基本概念和基本定理的内涵，了 解信息论的重要思想与方法，关注信息论的典型 应用  课程评价方法（初步设想）：  作业与课堂表现（含点名）：20%  课堂测验（2次）：20%  考试成绩：60% 本课程的教材和参考书  仇佩亮，张朝阳，谢磊，余官定， 《信息论与编 码》，第二版，高等教育出版社，“十五”国家 级规划教材，2011年  T.M.Cover， 《Elements of Information Theory》， the second edition, Wiley ，2006. 第二章 熵与互信息 符号系统  X, Y：随机变量（待观测变量）  x , y : 变量取值（观测值） k j  a , b : 变量取值（观测值） k j  X ={x ; k=1,2,…,K}; Y ={y ; j=1,2,…,J}: k j 变量值域  事件：X=x 或X=a ; Y=y 或Y=b k k j j  q =Pr{X=x }, w =Pr{ Y=y } k k j j 概率论基础知识 对联合变量对（二维随机矢量）   (X ,Y), X Y,p (x ,y ) 有：  p(x , y )  0 p( y | x ) P(Y  y | X  x ) k j j k j k   p x , y   p(x , y ) 1  k j k j k j q( x ) k