信息论和编码 第2章 信源和信息熵.ppt

第2章 信源与信息熵;概率论知识复习;事件域： 基本事件和复杂事件是样本空间的子集，所有子集的全体。 概率空间： 三要素 — 样本空间、事件域(集合)、概率。 事件A的概率： A中样本点数与样本空间中样本点之比。 先验概率： 根据以往的统计规律得到的。;必须掌握的概率论知识;3)全概率： 设 B1 , B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪…=Ω（样本空间）； P(Bi)＞0,i=1，2…，则对任一事件A，有： ;4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件A，有： ;2.1信源的描述与分类;2.1信源特性与分类; 2.1信源特性与分类;2.1信源特性与分类;2.1信源特性与分类;2.1信源描述与分类;2.1信源描述与分类;2.1信源描述与分类;2.1信源描述与分类;2.1信源描述与分类;2.1信源描述与分类;2.1信源描述与分类; 2.1信源描述与分类; 2.1信源描述与分类; 2.1信源描述与分类; 2.1信源描述与分类;2.1信源描述与分类;2.1信源描述与分类;2 马尔可夫信源;2.1 马尔可夫信源的定义;2.1 马尔可夫信源的