第2章.信源与信息熵.ppt

普通高等教育“十五”国家级规划教材《信息论与编码》第2章信源与信息熵第2章信源与信息熵信源的描述与分类离散信源信息熵和互信息离散序列信源的熵连续信源的熵和互信息冗余度2.1信源的描述与分类信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。信源的基本特性是具有随机不确定性。2.1信源的描述与分类信源分类按符号数：单个符号的、符号序列的按时间：离散的、连续的按幅度：离散的、连续的按记忆能力：有记忆的、无记忆的实际的信源是上述几种分类的组合，例如，单符号离散无记忆信源。2.1信源的描述与分类离散信源指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。2.1.1无记忆信源描述通过概率空间描述2.1.1无记忆信源单符号离散信源信源每次只输出可数符号集中的一个符号，且各次输出的符号之间没有关系。例如，扔骰子等。2.1.1无记忆信源单符号离散信源信源输出的符号（用离散随机变量表示）及其概率分布（用概率密度函数表示）就决定了信源，因此可以用如下的概率空间来表示这种信源：2.1.1无记忆信源单符号离散信源例如，将扔骰子的过程看成是一个信源2.1.1无记忆信源单符号离散信源例如，对二进制数据信源2.1.1无记忆信源单符号连续信源信源每次只输出一个符号，但符号集的数量是不可数的，即符号的取值范围是连续的（如在(a,b)之间），且各次输出的符号之间没有关系。例如，在一个袋中有很多干电池，每次随机抽取一节干电池并测量其电压值，将电压值作为输出符号。2.1.1无记忆信源单符号连续信源信源输出的符号（用连续随机变量表示）及其概率分布（用概率密度函数表示）就决定了信源，因此可以用如下的概率空间来表示这种信源：2.1.1无记忆信源单符号连续信源在有些情况下，也可以将符号的连续幅度进行量化，使其取值转换成有限的或者可数的离散值，也就是把连续信源转换成离散信源来处理。2.1.1无记忆信源符号序列离散信源信源输出的消息是由多个符号组成。需要用随机序列（或随机向量）来描述信源的输出，用联合概率分布来描述信源特性。2.1.1无记忆信源符号序列离散信源一般情况下，假设符号序列中的各个符号之间没有统计相关性，即各符号是独立分布的，则：而且实际中各符号的一维概率分布都相同，所以：有时将这种由信源X输出的L长随机序列所描述的信源叫做离散无记忆信源X的L次扩展信源。2.1.1无记忆信源符号序列离散信源例如，从一个装有相同数量白球和红球的布袋里分别取出两个球（取的方法是先取出一球，记下颜色后放回袋子，然后再取另外一球），由两球颜色组成的消息就是符号序列。2.1.2有记忆信源一般情况下，信源先后发出的符号之间是相互依赖的，这种就叫做有记忆信源。例如，前面布袋取球试验中，如果先取出一球，记下颜色后不放回布袋，接着再取另一个，则第二个球的颜色的概率分布就与第一个球的颜色有关。再例如，由英文字母组成的单词，各字母的组合是有关联的，不是任意字母的组合都能成为有意义的单词。2.1.2有记忆信源因此，在刻画有记忆信源时，需要引入条件概率来反映符号序列内各符号之间的记忆特征。表述的复杂度将随着序列长度的增加而增加。然而实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因此可以根据信源的特征和处理时的需要限制记忆的长度，使分析简化。2.1.3马尔可夫信源马尔可夫信源当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。这种有记忆信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。2.1.3马尔可夫信源马尔可夫信源最简单的马尔可夫信源是m=1，即：若上述条件概率与时间起点无关，则信源输出的符号序列可以看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。2.1.3马尔可夫信源状态变量由于高阶马尔可夫信源需要引入矢量进行分析，处理比较复杂。可将矢量转化为状态变量，通过分析系统状态在输入符号的作用下的转移情况，使高阶马尔可夫过程转化成一阶马尔可夫过程来处理。2.1.3马尔可夫信源状态变量对于m阶马尔可夫信源，将该时刻以前出现的m个符号组成的序列定义为状态si，即：2.1.3马尔可夫信源状态变量这样，符号条件概率可以表示成：表示信源在某一时刻出现符号xj的概率与信源此时所处的状态sj有关。当信源符号xj出现后，信源所处的状态将发生变化，并转入一个新的状态，这种