信息论的概论.pptxVIP

DesignedbyGAOQIANG--HelpTEL息论InformationTheory主讲老师：翟永智E-mail:cesltsinghua@126.com

8.2讲授内容信息论与信息论方法概述第1章信息论的基本概念第2章信源的熵率冗余度与压缩编码第3章信道、信道容量与信道有效利用第4章信源的率失真函数与压缩编码第5章信道编码（线性码与卷积码）第6章最大熵原理与最小鉴别信息第7章

1.2信息论的基本概念1.1信息科学与信息论1.3信息论的基本框架text第一章

1.1信息科学与信息论1.2信息论的基本概念1.3信息论研究的基本框架第一章第一讲

NewtonF=maAlbertEinsteinC.Eshannon?科学的发展催生了信息论的诞生?物质是能量?信息量?价值量统一体第一讲信息论的概论

信息科学：主要通过随机统计分析，优化方法处理以及编码过程研究通信系统从信源到信宿的信息传输全过程，包括信息的测度、信道容量、信源与信道编码理论等问题，以最小的代价，传输最大的信息量，提高传输速率，降低失真率。随着大数据技术、人工智能的技术的发展，针对数据仓库中海量数据，借助于神经网络机器学习方法，提取海量数据中蕴含的深层次风险决策信息，是信息论以及网络信息论学科发展的必然局势。1.1信息科学与信息论

狭义信息论（经典信息论）：主要研究信息的测度、信道容量，信源与信道编码理论等问题。这部分内容是信息论的基础理论，又称为经典Shannon信息论。一般信息论（通信理论）：主要是研究信息传输与信号处理问题，除了Shannon理论外，还包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论以及信息处理理论等。广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。

?信息：是信息论中最基本、最重要的概念，既抽象又复杂认知与理解，日常生活中被认为是“消息”、“知识”、“情报”等。?消息：用文字等能够被人们感觉器官所感知的形式，将客观物质运动与主观思维活动的状态描述。?知识：一种具有普遍和概括性质的深层次的信息,以实践为基础，通过抽象思维，对客观事物规律性的概括与总结。?情报：人们对于某个特定对象所见、所闻以及理解感知而产生的知识。1.2信息论的基本概念

狭义信息：信息作为一个可以严格数学定义的科学名词，首先出现在统计随机统计学中，然后再引入到通信领域与通信网络系统中。无论是在统计学范畴，还是在通信领域范畴，基本都局限于统计意义层面上的概念，突出了信息熵的概念，称之为统计信息。广义信息：将信息的形式、内容全包括在内的最广泛意义的信息。信息技术与信息理论：泛指的是以云端服务器信息决策平台为核心展开的各种功能模块构成的综合感知通信系统。针对该通信系统，用不同的形式描述本质上相同的问题。因此信息一个笼统、抽象而不明确的描述性的概念。

01. 研究内容04. 申报团队和工作基础信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道信道编码器信道译码器等效离散信源等效信宿信息论通信系统的流程框图1.3信息论研究的基本框架

信息的测度：信息量大小与不确定性的程度有关。用数学的语言来讲，不确定就是随机性，可运用研究随机事件的数学工具----概率论和随机过程来测度来刻画不确定性的大小。某一事物所处状态的不确定性大小，与该事物可能出现的不同状态数目以及各状态呈现的概率大小有关。既然不确定性的大小能够度量，所以信息是可以测度的。信息测度相关的几个概念：样本空间、概率空间、先验概率、自信息、后验概率、熵以及互信息等概念小结