教师教案-电子科技大学.docVIP

教 师 教 案 ( 2006 —2007 学年第 2 学期 ) 课 程 名 称：信息论导论 授 课 学 时：32 授 课 班 级：2005级信息论导论2片区 任 课 教 师：汪利辉 教 师 职 称：讲师 教师所在学院：电工学院 电子科技大学 课程名称 信息论导论 授课专业班级 信息论导论2片 修课人数 200 课程类型 必修课 学科基础课 (√ ) ； 专业基础课 ( ) ； 专业课 ( ) 选修课 专 选 课 ( ) ； 公选课 ( ) 授课方式 理论课 (√ ) ；实践课 ( ) 考核方式 考 试 (√ ) 考 查 ( ) 是否采用多媒体 是 是否采用双语 否 学时分配 课堂讲授 32学时； 实践课 学时 名称 作者 出版社及出版时间 教材 信息论导引 李立萍,张明友 电子科技大学出版社，2005 参考书目 《信息论与编码》 《信息工程概论》 信息论-基础理论与应用 信息理论与编码 Elements of Information theory 陈运 徐宗本，柳重椹 傅祖芸 姜丹 T．M．Cover 电子工业出版社，2002 科学出版社，2002 电子工业出版社，2001 中国科技大学出版社，2001 New York:Wiley,1991 授课时间 ?星期第大节1948年香农（C.E.Shannon）系统地阐述了通信的基本问题，得出了几个重要的而带有普遍意义的结论，。 信息的基本特征是什么？ 信息与信号、消息、数据、知识、情报有那些差别？ 怎样进行信息分类？ 为什么说数学是信息科学的基础？ 教学后记 本章内容相对枯燥，均为发展史的介绍和信息的定义。特别是使得学生对信息的定义有个较好的理解，有个科学的信息概念理解是至关重要的。应该多通过有关信息论发展的重要历史事件介绍，是学生对本课程产生兴趣，并通过形象化的生活中的关于信息事件描述，使学生对信息的概念有个直观的理解。 第二章 信息论的基本概念 授课时数：16学时 教学内容及要求 教学内容： 信源的描述和分类 自信息量、条件自信息量和联合自信息量 互信息量、条件互信息量 熵、平均互信息量的定义及其数学描述 各种熵的性质及其相互之间的关系 离散无记忆（有记忆）信源的信源熵 信源冗余度 习题课：信息量的计算 教学要求： 掌握各种信息量的定义、性质和相互关系，牢记各种信息量的计算公式，理解信息量所表征的具体物理意义。 教学重点与难点 自信息量、条件自信息量、联合自信息量、互信息量、不确定度、熵、条件熵、联合熵、平均互信息的概念、性质及各自的物理意义。 如何利用它们的性质和相互关系计算各种信源、随机变量和事件的信息量。 两个基本定理：最大熵定理，信息不增原理。 条件熵、联合熵和平均互信息量的计算。 马尔可夫信源熵的计算，特别强调该信源熵为条件熵。 作业 教材习题：第三题 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问可获得多少信息量？ 一副充分洗乱的扑克牌（52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中取出13张牌，点数都不相同时得到多少信息量？ 教材习题：第五题 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…,38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。 （1） 若仅对颜色感兴趣，计算平均不确定度。 （2）若仅对颜色和数字都感兴趣，计算平均不确定度。 （3）如果颜色已知时，计算条件熵。 教材习题：第9题 ,第10题,第11题. 设有一个信源，它产生0，1序列的消息。它在任意时间而且不论以前发出过什么符号，均按P（0）=0.4，P（1）=0.6的概率发出符号。 （1）试问这个信源是否是平稳的 （2）试计算H（X2），H（X3/X1X2） （3）试计算H（X4））可以是A，B，C中的任一个。第二个符号可以是D,E,F,G中的任一个。已知各个和值列成如下表。求这个信源的熵（联合熵）。 A B C 1/2 1/3 1/6 D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 G 1/4 3/10 1/6 教材习题：第17题. 第21题 有一个马尔可夫信源，已知，，，，试画出该信源的香农线图，并求出信源熵。 教材习题：第20题. 第21题 教材习题：第33题. 教学后记 这一章，是本课程的教学的核心内容，对于大二学生而言，各种概念比较抽象，在教学过程中，应