第二分1.pptVIP

* 信 息 论 二、信源及信源编码 主要内容 2.1 离散信源（核心教材为主） 2.2 连续信源及离散化（随机变量、随机矢量、随机过程描述信源及其熵，连续信源正交展开） 2.3 无失真信源编码（马尔科夫信源编码方法及有效性） 2.4 限失真信源编码（核心教材为主） 二、信源及信源编码 2.1 离散信源 1、设计信源——寻找熵最小的信源 §3.1 信源的数学模型及其分类 §3.2 离散无记忆信源 §3.3 离散无记忆信源的扩展信源 §3.4 离散平稳信源 §3.5 马尔可夫信源 §3.6 信源的相关性和剩余度 一、 简单离散无记忆信源 1、定义：设信源输出符号集合 ，每次信源输出一个消息符号，且消息符号之间彼此统计独立，称为简单离散无记忆信源，可用一维随机变量X描述，其数学模型为 例如二元离散信源 二、信源及信源编码 2、简单离散无记忆信源的信息熵 ①、自信息量——精描述 简单离散无记忆信源中，消息符号ai的自信息量为 ②、信息熵——粗描述 简单离散无记忆信源的信息熵为 ＊H(X) 是 p(x) 的函数； ＊H(X) 是信源输出每个符号平均携带的信息量。 二、信源及信源编码 二、离散无记忆N次扩展信源　 设X是一个离散无记忆信源，其概率空间为 其中，q 为信源符号个数，p(ai)≥0, i=1,2,?,q X的N次扩展信源XN是具有个qN消息符号的离散无记忆信源，其数学模型为 二、信源及信源编码 其中 说明：信源X的符号集合为 N次扩展信源XN符号集合为 二、信源及信源编码 4、离散无记忆N次扩展信源的熵　 离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即 其中，H(X)是原始信源X的熵； H(XN) 是原始信源X进行N次无记忆扩展后得到的信源XN的熵，扩展信源的每个符号使用了原始信源的N个符号。 结论：信源无记忆扩展后，熵不变。 二、信源及信源编码 三、N维平稳信源的熵 ①特性： ? 信源输出的随机序列是平稳的； ? 输出序列每N个符号一组； ? 组与组之间统计无关，组内符号相关； ? 符号X1?XN取值同一符号集A={a1,a2, … ,aq} ②概率空间 二、信源及信源编码 ③ N维平稳信源的熵 联合熵 平均符号熵 ：信源输出为N长符号序列，平均每个符号的熵定义为 二、信源及信源编码 极限熵（极限信息熵） 当信源符号序列长度趋于无穷时的平均符号熵 条件熵 二、信源及信源编码 ④ N维平稳信源熵的性质 (1) 条件熵 随N的增加非递增； (2) (3) 平均符号熵 随N的增加非递增； (4) 极限熵 存在，且 对于平稳信源，极限熵是考虑了符号相关性的最小值 二、信源及信源编码 四、马尔科夫信源 1、状态空间： 如果信源输出符号集合为A={a1,a2,…,aq}，输出当前符号的概率仅于已经输出的前m个符号有关，而与再前面的符号无关，则称这m个符号构成信源的状态Si，所有可能的状态集合S称为状态空间 m称为马尔科夫信源阶数。 二、信源及信源编码 2、马尔可夫信源 满足下列条件的信源称为马尔可夫信源 ①信源输出仅与当时状态有关 ②信源状态由当时输出符号与前一时刻信源状态决定 其中，xl 表示输出符号变量，ul 表示状态变量。 二、信源及信源编码 m阶马尔可夫信源的状态空间为 其中，p(Si|Sj)由信源符号的条件概率 确定， 二、信源及信源编码 3、m阶马尔科夫信源熵H(X1X2…XN) 通过影射X1X2…Xm ——＞Sm+1 X2X3…Xm+1 ——＞Sm+2 … XN-m+1XN-m+2…XN ——＞SN+1 将序列X1X2…XN变成Sm+1Sm+2…SN+1 *序列X1X2…XN中Xi与前m个符号有关：m阶； *序列Sm+1Sm+2…SN+1中Si与前面“符号”有关：一阶； *序列X1X2…XN与Sm+1S