《信息论基础与随机过程》教学大纲（本科）.docxVIP

PAGE PAGE 57 信息论基础与随机过程 一、课程简介 信息论基础这门课程涉及信息学、统计学、计算机科学等领域，系统并全面地介绍了香农信息论，通过对理论知识的讲解，使学生掌握熵、互信息、自信息量、霍夫曼编码、香农编码、费诺编码等知识及其在生物医学中的应用，把理论知识和实际应用结合起来，为生物信息专业学生提供理论基础，培养科研思维，掌握医学信息分析方法。 随机过程是一连串随机事件动态关系的定量描述。随机过程理论在物理、生物、工程、经济和管理等方面都得到了广泛应用，已成为近代科技工作者谋求掌握的一个理论工具。通过随机过程的学习，期望学生能较好地理解随机数学的基本思想，掌握几个基本而常用的过程的处理方法，如正态过程、泊松过程等；特别是马氏过程要重点理解并掌握。并将随机过程理论与生物信息学专业相结合，为阅读文献和未来的科研工作奠定基础。 二、理论教学内容 信息论绪论 掌握内容：为什么要学习信息论这门课程？信息论基础与生物信息学之间的关系以及信息论基础与医学生物学之间的关系。信息熵在现代生物医学中的应用。 了解内容：信息论的起源、发展，信息论的研究对象、目的、内容，信息与消息的区别。 信息的度量 掌握内容：计算自信息、互信息、熵、联合熵、条件熵、平均互信息、理解熵的性质、各类熵之间的关系。例如：自信息、互信息等分析方法应用生物芯片数据选择差异表达基因及技术系统混乱度；基于熵互信息理论的基因调控网络的研究；度量反映对于刺激的条件熵；重患者与轻患者在得病期间的血清中蛋白质谱的信息分析。 了解内容：自信息、互信息、熵、联合熵、条件熵、平均互信息的计算公式，理解意义并熟悉医学信息分析方法。 信源及信源熵 掌握内容：多符号离散信源、马尔可夫信源、信源的相关性和剩余度，应用相关性和剩余度进行疾病诊断与治疗，例如：分析血清中蛋白质种类的百分含量诊断患者病情发展情况及肌体复杂程度；基于互信息的差异共表达致病基因挖掘方法。 了解内容：单符号离散信源。 信道及信道容量 掌握内容：计算信道容量，单符号离散信道的编程及计算、独立并联信道、串联信道的计算及意义。例如：脑血栓患者，血液流量；计算遗传信息的储存量。 了解内容：多符号离散信道。 无失真信源编码 掌握内容：即时码判断及构造树图。例如：解释ＧＯ数据库的结构。唯一可译码及判别标准，应用 Kraft 不等式和 McMillan 不等式判断唯一可译码和即时码。编制霍夫曼编码、香农编码、费诺编码，遗传密码，ＬＺＷ编码并应用于模式识别，计算平均码长及信息传输率。 了解内容：定长码及定长编码码长原则。 随机过程预备知识 掌握内容：概率空间、随机变量及分布函数、随机变量的数字特征、特征函数与母函数、条件期望。 了解内容：随机过程的应用领域。 随机过程的概念及基本类型 掌握内容：随机过程的概念与例子、随机过程的分布律和数字特征、复随机过程、几种重要的随机过程。 了解内容：随机过程和随机变量的关系、运用软件模拟维纳过程。 Markov 链 掌握内容：马尔可夫链的概念及转移概率、马尔可夫链的状态分类、状态空间的分解、pij （n）的渐近性质、运用软件模拟 Markov 链。了解内容：平稳分布、Markov链的应用。三、实验教学内容 熵和互信息的计算及应用 基本内容：计算自信息、互信息、熵、联合熵、条件熵、平均互信息。 基本要求：理解熵的性质、各类熵之间的关系，应用自信息、互信息技术度量选择差异表达基因。 信道容量的计算及应用、变长码的编码方法 基本内容：无损信道、无噪信道、无燥无损信道、准对称信道、均匀信道、二元对称信道的计算。霍夫曼编码、香农编码、费诺编码。 基本要求：掌握无损信道、无噪信道、无燥无损信道、准对称信道、均匀信道、二元对称信道的计算方法，理解信道容量的意义。掌握霍夫曼编码、香农编码、费诺编码方法，理解变长码编码意义。 Matlab 软件统计包简介、模拟维纳过程 基本内容：本实验目的是熟悉 Matlab 软件，会运用 Matlab 软件画概率密度函数、分布函数曲线，以及参数估计和假设检验，会生成各种分布的随机数。理解维纳过程满足的相关条件及维纳过程在实际中的应用。 模拟马尔可夫链 基本内容：运用 Matlab 语言描述泊松过程的定义。掌握马尔科夫链的定义及实际意义，运用 Matlab 语言描述马尔可夫链的定义。 基本要求：能够用 Matlab 画出泊松过程的模拟图像并结合泊松过程的定义做相关解释。能够用 Matlab 画出马氏链的模拟图像并结合马氏链的定义做相关解释。 四、参考资料 《信息论基础教程》.李亦农主编.北京邮电大学出版社.2008 年出版 《信息论与编码理论》.沈世镒主编.北京科学出版社.2002 年出版 《信息论基础》.叶中行主编.高等教育出版社.2004 年出版 《随机过程（第四版）