《信息论及编码技术》复习提纲复习题.docVIP

《信息论与编码技术》复习提纲 复习题纲 第0章 绪论 题纲： 什么是信息？ 什么是信息论？ 什么是信息的通信模型？ 什么是信息的测度？ 自信息量的定义、含义、性质 需掌握的问题： 信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息） Shannon信息论中信息的三要素是什么？ 通信系统模型图是什么？每一部分的作用的是什么？ 什么是信息测度？ 什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？ 自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？ 第1章 信息论基础 信源的定义、分类 离散信源的数学模型 熵的定义、含义、性质，联合熵、条件熵 离散无记忆信源的特性、熵 离散有记忆信源的熵、平均符号熵、极限熵 马尔科夫信源的定义、状态转移图 信源的相对信息率和冗余度 需掌握的问题： 信源的定义、分类是什么？ 离散信源的数学模型是什么？ 信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？ 单符号离散信源最大熵是多少？信源概率如何分布时能达到？ 信源的码率和信息率是什么，如何计算？ 什么是离散无记忆信源？什么是离散有记忆信源？ 离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？ 离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？ 什么是马