信源及信源熵材料.ppt

复习: 本次课讲的内容 相关知识复习 2.1信源及分类 2.2单符号离散信源 2.2.1单符号离散信源的数学模型 2.2.2自信息量 概率论知识复习 基本事件： 随机试验的每一个可能的结果（样本点）。 样本空间： 基本事件的集合。 复杂事件： 多个基本事件所组成的事件。 随机事件： 无论基本事件还是复杂事件，它们在试验中发生与否，都带有随机性。 事件域： 基本事件和复杂事件是样本空间的子集，所有子集的全体。 概率空间： 三要素 — 样本空间、事件域(集合)、概率。 事件A的概率： A中样本点数与样本空间中样本点之比。 先验概率： 根据以往的统计规律得到的。 必须掌握的概率论知识 1）条件概率 2）联合概率 3)全概率： 设 B1 , B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪…=Ω（样本空间）； P(Bi)＞0,i=1，2…，则对任一事件A，有： 4)贝叶斯(Bayes)公式: 设B1,B2 , … 是一列互不相容的事件(B i B j = 0）， 且有B1∪B2∪… =Ω（样本空间）； p(Bi)＞0 ，i=1，2，…，则对任一事件A，有： 第2章 信源及信源熵 2.1信源及分类 1.信源的描述 直观地说: 信源就是信息的来源。 确切地说: 信源是产生消息（符号）、消息序列、连续消息的来源。 信源发出了消息，消息载荷着信息，信息具有不确定性。从数学分析上看，由于消息具有的不确定性，因此信源可以看成是产生随机变量、随机序列（矢量）和随机过程的源。 在实际通信中最常见的信源有话音、文字、图像、数据等。 从信源发出的消息在时间上和幅度上的分布来考虑分类，可将其分为离散信源和连续信源。 离散信源：指发出在时间和幅度上都是离散 分布的离散消息的信源。 如：文字、数字、数据、字母等。 离散信源又可分为无记忆离散信源和有记忆离散信源。 无记忆离散信源:发出的各个符号是相互独立 的；各符号序列中的各个符号 之间是没有统计关联的关系。 各个符号的出现概率是它自身 的先验概率。 无记忆离散信源包含发出单符号的无记忆离散信源和发出符号序列的无记忆离散信源。 有记忆离散信源: 发出的各个符号是相关 联的。表述起来很困难。 有记忆离散信源又可分为发出符号序列的有记忆离散信源和发出符号序列的马尔可夫信源。 连续信源：指发出在时间和幅度上都是连续分布 的连续消息（模拟消息）的信源。 如：语言、图像、视频等。 2.2单符号离散信源 2.2.1 单符号离散信源的数学模型 单符号离散信源输出的消息是以一个符号的形式出现. 如：文字、数字、字母、等符号。 信源每次只发出一个符号代表一个消息，可用离散随机变量来描述。 定义一个离散无记忆信源是由n个符号消息组成的集合: X={ a1，a2 · · · an }， 注意： 大写字母X、Y、Z等代表随机变量，指的是信源的整体；而带有下标的小写字母ai，bj，ck等代表随机事件的某一结果或信源的某个元素。 【例2.2-1】掷一颗质地均匀的骰子研究其下落后朝上一面的点数，每次实验结果必然是1，2…6点中的某一个面朝上。信源输出的消息是“朝上面是一点”，“朝上面是两点”，…“朝上面是六点等，六6个不同的消息。每次实验只能出现一种消息，出现哪一种消息是随机的，但必是六6种情况中的一种。用ai,(i=1,…,6)来表示这些消息，得到信源的样本空间为符号集 A=｛a1,a2,a3,a4,a5,a6｝。 各消息都是等概率出现的，用一个离散型随机变量X来描述这个信源的输出的消息。这个随机变量X的样本空间就是符号集A，X的概