YN第1章信息论与编码理论.pptVIP

信息论与编码; Thomas M. Cover.Elements of Information Theory. 清华大学出版社影印版 朱雪龙. 应用信息论基础. 清华大学出版社 傅祖芸. 信息论-基础理论与应用.电子工业出版社 王育民.信息论与编码理论. 高等教育出版社. ;; 闭卷+课程论文 平时成绩20%+论文成绩20%+考试成绩60% ;第一章 绪论;第一章 绪论;2个重要概念;2个基本理论;;1.1 通信系统模型和信息的概念;1、通信系统模型;;2、信息的概念：信息、消息和信号;3、香农信息的定义;信息的定义;“母病愈” 1、收报人之前不知道任何相关信息，也不知道有人给他发报——不确定性 2、是关于身体健康的描述——是动态的、随机的 3、收到报文后，报文清楚，则不确定性消除；报文不清——有可能消除一部分不确定性，不确定性减少，获得一部分信息；或不确定性没有减少，没有获得信息。 ;4、香农信息的度量;;例1.1 假定8名运动员参加一场比赛，设8人的获胜概率分布为（1/2，1/4，1/8，1/16，1/64，1/64，1/64，1/64）。求该场比赛的平均信息量 。 解：H(X)=-1/2log(1/2)-1/4log(1/4)-1/8log(1/8) -1/16log(1/16)-4*1/64log(1/64) =2比特 假设要把某人获胜的消息传出去，可以发送该人的编号；由于获胜概率不同，获胜可能大的用较短描述，可以获得2比特的平均信息量。;5 Shannon信息论的优点;6 Shannon信息论的局限性;7 信息论的广义性;信息论常被理解为包括更广的领域 语义学 语言学 神经生理学 心理学 组织学 信息的不同属性的定义产生不同的信息论 模糊信息论 量子信息论 生物信息论 信息复杂度的信息理论;1.2 信息论研究的中心问题和发展;1 Shannon信息论的基本目的;克劳德·艾尔伍德·香农（Claude Elwood Shannon）;香农的学术研究;克劳德·艾尔伍德·香农（Claude Elwood Shannon）;信息论在领域内的基本作用;2 信息论的研究内容;Shannon理论; 消息伴随着可以量化的信息——熵、平均互信息 信源发出的消息有冗余度，因此可进行信源编码，熵是无失真信源编码的最低极限 噪声使信道可靠传输能力受限，提出信道可靠传输能力——信道容限 为可靠通信，通过增加冗余进行信道纠错编码，信道容限是错误足够小的信道编码的临界上限;1.3信息论几个方面的主要进展;1信源编码与数据压缩-关键理论进展的十个里程碑[Kieffer 1993];;;;3．多用户信息论与网络通信;;;课程内容