信息论与编码基础教程第二章.pptxVIP

张丽英、制作;;复习:;2.1信源及分类 2.2单符号离散信源 2.3多符号离散信源 2.4连续信源 2.5冗余度;本次课讲的内容;概率论知识复习;事件域： 基本事件和复杂事件是样本空间的子集，所有子集的全体。 概率空间： 三要素 — 样本空间、事件域(集合)、概率。 事件A的概率： A中样本点数与样本空间中样本点之比。 先验概率： 根据以往的统计规律得到的。;必须掌握的概率论知识;3)全概率： 设 B1 , B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪…=Ω（样本空间）； P(Bi)＞0,i=1，2…，则对任一事件A，有： ;4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件A，有： ;第2章 信源及信源熵 ; 信源发出了消息，消息载荷着信息，信息具有不确定性。从数学分析上看，由于消息具有的不确定性，因此信源可以看成是产生随机变量、随机序列（矢量）和随机过程的源。 在实际通信中最常见的信源有话音、文字、图像、数据等。 ; 从信源发出的消息在时间上和幅度上的分布来考虑分类，可将其分为离