第2章 离散信源和信息测度.pptVIP

第2章 离散信源及其信息测度; 本章中，首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度—熵及其性质，从而引入信息理论的一些基本概念和重要结论。;补充：概率论基础;二、随机试验与随机事件;概率;例: 掷一枚硬币，出现正面的概率;随机事件在一次试验中发生不确定，;3、几何概率;4、条件概率;事件的独立性;随机变量按取值情况分为两类：; 随机过程是随机函数的集合。若一随机系统的样本点是随机函数，则称此函数为样本函数，这一随机系统全部样本函数的集合是一个随机过程。 实际应用中，样本函数的一般定义在时间域或者空间域。随机过程的实例如股票和汇率的波动、语音信号、视频信号、体温的变化，随机运动如布朗运动、随机徘徊等等。;(1) 如果n个事件A1,A2,…,An两两互斥，则 P(A1+A2+…+An)=P(A1)+P(A2)+…+P(An);定理1 (??概率公式)若事件A1,A2,…构成一个完备事件组 并且都具有正概率，则对任何一个事件B,有