信息论及编码理论.pdf

信息论与编码理论 杨文 通信工程系 信息论基础的重要性  信息论是信息科学和技术的基本理论信息论是信息科学和技术的基本理论,,信息科信息科 学大厦的地基学大厦的地基;;  没有信息论的基础，从事通信与信息领域的研没有信息论的基础，从事通信与信息领域的研 究和创新是不可能的事情究和创新是不可能的事情;;  总之总之,,信息论是高层次信息技术人才必不可少信息论是高层次信息技术人才必不可少 的基础知识。的基础知识。 课程类型：专业选修课 学 时：54 教 材： 《信息论与编码理论》, 王育民，李晖，梁传甲， 高等教育出版社，2009 参考教材： ①信息论基础 （Elements of Information Theory, 英文 影印）,Thomas M.Cover, Joy A.Thomas ,清华大学出版社，2003 ②《信息论与编码理论(The Theory of Information and Coding,英文影印版)(第2版), Robert J.McEliece,电子工业出版社, 2005.3 考 核：平时成绩30 ％（作业、考勤、期中测验） 期末考试70 ％（闭卷） 上课地点、时间：  星期二,第8-10节 (14:55-17:25 AM),测绘校区, 附3-301 (Every week 1-18) 答疑地点、时间：  地点：教学实验大楼十楼信号处理实验室－1008;  时间：星期四，2:30-5:00,PM  其它答疑方式：  电子邮件：yangwen@;  办公电话：027 Here you can find me! EE--mailmail：：yangwen@yangwen@ Tel(O)Tel(O) ：：027027 --6877818168778181 课程基本内容  ch1ch1 绪论绪论  ch2ch2 信息量和熵信息量和熵  ch3ch3 离散信源无失真编码离散信源无失真编码  ch4ch4 信道及信道容量信道及信道容量  ch5ch5 信道编码定理信道编码定理  ch6ch6 线性分组码线性分组码  ch7ch7 卷积码卷积码  ch9ch9 限失真信源编码限失真信源编码 教学目标  充分理解、熟练掌握教材的内容  熟练掌握基本的信息理论概念和定理  熟练掌握通信与信息工程中基本研究对象的数学描 述  通过学习和习题练习，具备一定的解决问题分 析问题的能力  掌握一定的科学思想方法(用信息论的思想和 观点) 学习方法 本本课程以概率论为基础，数学推导较多，学习课程以概率论为基础，数学推导较多，学习 时要时要把把注意力集中到概念的理解注意力集中到概念的理解上，不过分追求上，不过分追求 数学细节的推导数学细节的推导。。 学习学习时一定要从始至终注意基本概念的理解，时一定要从始至终注意基本概念的理解， 不断加深概念的把握不断加深概念的把握。。 注意注意理解各个概念的理解各个概念的 “用处”，结合其他课程，结合其他课程 理解它的意义，而不要把它当作数学课来学习，理解它的意义，而不要把它当作数学课来学习， 提倡独立思考提倡独立思考，注重思考在学习中的重要性。，注重思考在学习中的重要性。 对学习者的要求  三个重要环节  课前预习  课上认真听讲  课后认真复习消化、作业  经常进行阶段复习  掌握知识的窍诀：反复思维实践  欢迎大家及时提出反馈意见，以便更好的进行 互动教学。 其他约定  不得迟到、早退、缺课，有事请假不得迟到、早退、缺课，有事请假  上课时请关闭手机上课时请关闭手机  作业不得用纸片信纸之类，必须使用作业本作业不得用纸片信纸之类，必须使用作业本  迟交的作业及纸片做的作业恕不修改，只作记迟交的作业及纸片