华中科技大学信息论第二章王斯玥老师.pptxVIP

基础信息论;第2章 信源熵;本章内容;本章内容简介;第2章 信源熵;信源的概念;信源的数学模型;信源的分类;离散信源与连续信源;;离散平稳信源与非平稳信源;无记忆信源与有记忆信源;无记忆信源与有记忆信源（续）;信源的分类;第2章 信源熵;单符号离散信源的数学模型;2.1 信息的度量与信源熵（单符号离散信源）;2.1 信息的度量与信源熵;问题的引出;实际例子;用数学语言表述;自信息量定义;自信息量的单位;自信息量VS不确定度;自信息量VS不确定度;结论——自信息量与不确定度之间的关系;自信息量的计算——例1;自信息量的计算——例2;自信息量的计算——例2;自信息量的性质;自信息量的性质(续);2.1 信息的度量与信源熵;联合自信息量的定义;2.1 信息的度量与信源熵;条件自信息量;条件自信息量的性质;例：;例：;2.1 信息的度量与信源熵;几种自信息量之间的关系;例：联合自信息量;例：条件自信息量;2.1 信息的度量与信源熵;2.1 信息的度量与信源熵;平均自信息量;例：;平均信息量求解;甲地的第一种特殊情况;甲地的第二种特殊情况;2.1 信息的度量与信源熵;信源的概率空间描述; 平均自信息量—信息熵;信息熵的单位;练习：;2.1 信息的度量与信源熵;联合熵和条件熵;联合熵;条件熵;为什么条件熵要用联合概率进行加权平均？;强调：;条件熵的物理意义;分析;