信源及信源熵绪论.ppt

复习: 本次课讲的内容 相关知识复习 2.1信源及分类 2.2单符号离散信源 2.2.1单符号离散信源的数学模型 2.2.2自信息量 概率论知识复习 基本事件： 随机试验的每一个可能的结果（样本点）。 样本空间： 基本事件的集合。 复杂事件： 多个基本事件所组成的事件。 随机事件： 无论基本事件还是复杂事件，它们在试验中发生与否，都带有随机性。 事件域： 基本事件和复杂事件是样本空间的子集，所有子集的全体。 概率空间： 三要素 — 样本空间、事件域(集合)、概率。 事件A的概率： A中样本点数与样本空间中样本点之比。 先验概率： 根据以往的统计规律得到的。 必须掌握的概率论知识 1）条件概率 2）联合概率 3)全概率： 设 B1 , B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪…=Ω（样本空间）； P(Bi)＞0,i=1，2…，则对任一事件A，有： 4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件A，有： 第2章 信源及信源熵 2.1信源及分类 1.信源的描述 直观地说: