第二章 信息与编码.pptVIP

第二章 离散信源及其信息测度 ; 信源的主要问题 1．如何描述信源（信源的数学建模问题） 2．怎样计算信源所含的信息量 3．怎样有效的表示信源输出的消息，也就是信源编码问题;第一节 信源的数学模型及分类;信源的定义及分类;;第一节 信源的数学模型及分类;第一节 信源的数学模型及分类;离散信源的进一步分类;根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。 离散无记忆信源 离散有记忆信源; 有记忆信源符号间的概率关联性可用两种方式： 一种是用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征． 一种限制记忆长度，即某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征，这就是发出符号序列的马尔可夫信源． ;根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源 ;离散信源分类;离散信源分类;离散信源分类;;第二节 离散信源的信息熵;第二节 离散信源的信息熵;第二节 离散信源的信息熵;自信息;第二节 离散信源的信息熵;第二节 离散信源的信息熵;例：天气预报，有两个信源 ;第三节 信息熵的基本性质;第三节 信息熵的基本性质;第三节 信息熵的基本性质;第三节 信息熵的基本性质;第三节 信息熵的基本性质;