熵、相对熵与互信息.pdfVIP

第二章 熵、相对熵与互信息 第二章 熵、相对熵与互信息 第二章熵、相对熵与互信息 什么是信息 2.1 熵 信息是信息论中最基本、最重要的概念，既抽象又复 2.2 联合熵和条件熵 杂 2.3 相对熵与互信息 “信息”不同于消息 （消息是表现形式，信息是实 “信息”不同于消息 （消息是表现形式，信息是实 2.4 熵与互信息的关系 质； 质； 2.5 熵、相对熵与互信息的链式法则 “信息”不同于情报，情报的含义比“信息”窄的 “信息”不同于情报，情报的含义比“信息”窄的 多，一般只限于特殊的领域，是一类特殊的信息； 2.6 Jensen不等式及其结果 多，一般只限于特殊的领域，是一类特殊的信息； 信息不同于信号，信号是承载消息的物理量； 2.7 对数和不等式应用 信息不同于信号，信号是承载消息的物理量； 信息不同于知识，知识是人们根据某种目的,从自然界 2.8 数据处理不等式 信息不同于知识，知识是人们根据某种目的,从自然界 收集得来的数据中整理、概括、提取得到的有价值的信 收集得来的数据中整理、概括、提取得到的有价值的信 2.10 费诺不等式 息，是一种高层次的信息。 息，是一种高层次的信息。 要点 第二章 熵、相对熵与互信息 第二章 熵、相对熵与互信息 与信息相关的概念(1) 与信息相关的概念(2) 消息：用文字等能够被人们感觉器官所感知的形式， 消息：用文字等能够被人们感觉器官所感知的形式， 信号：是信息的物理表达层，是一个物理量，是一 把客观物质运动和主观思维活动的状态表达出来。 把客观物质运动和主观思维活动的状态表达出来。 个载荷信息的实体，可测量、可描述、可显示。 知识：一种具有普遍和概括性质的高层次的信息， 知识：一种具有普遍和概括性质的高层次的信息， 消息：(或称为符号)是信息的数学表达层，可以定 以实践为基础，通过抽象思维，对客观事物规律性的 以实践为基础，通过抽象思维，对客观事物规律性的 量地加以描述，是物理信号的进一步数学抽象。 概括。 概括。 信号分类： 情报：是人们对于某个特定对象所见、所闻、所理解 情报：是人们对于某个特定对象所见、所闻、所理解 离散(数字)消息，一组未知量，可用随机序列来 而产生的知识 。 而产生的知识 描述： X=(X …X …X )