中南大学信息论与编码课件Inf_T_C_1.3N.pptVIP

2013 秋季 信息11 Inf Theory Coding-张祖平 信息论与编码 张祖平/Zhang Zuping 电子信息工程系 School of Information Science and Engineering,Central South University , zpzhang@csu.edu.cn 信息熵的代数性质 信源的总体信息测度，解剖数学性质 信息熵的代数性质 信息熵的解析性质 最大离散熵定理 熵函数的唯一性定理 本章小结 信源的数学模型 信源空间表示： 信源符号的自信量感谢 I(ai)=-logp(ai) 信源的信息熵 H(X)=- p(a1)logp(a1)- p(a2)logp(a2)-…- p(ar)logp(ar) 信息熵的代数性质 顺序无关，大于等于0，连续，独立变量相加等 信息熵的解析性质 ∩型凸函数 ≤logr 最大离散熵定理 等概率信源的熵达到最大，为logr 熵函数唯一性定理 表达式唯一 作业 第三版书 P74 1.1 1.4 1.5 第二版书 1.1 1.4 1.5 定理1.3 熵函数H(p1,p2,…,pr)概率分量pi(i=1,2,…,r)的， 连续函数 定理1.5 设H(X)和H(Y)分别代表两个统计独立的信源X和Y的信息熵，则有： H(XY)= H(X) +H(Y) 信息熵的解析性质 定理1.7 设信源X的概率矢量为p:(p1,p2,…,pr),则熵函数H(p)是p的∩型凸函数 定理1.8 含有r(r1的正整数)个概率分量的信源X的熵函数H(X)= H(p1,p2,…,pr) ≤logr 最大离散熵定理 定理1.9 在所有符号数（概率分量数）为r(r1的正整数)的信源中，等概率信源的熵达到最大，其最大值为logr 直观地从H(X)= H(p1,p2,…,pr) =-p1 log p1-p2 log p2-…-pr log pr ≤logr得出 熵函数的唯一性定理 定理1.10 倘若要求： （1）熵函数H(p1,p2,…,pr)是pi(i=1,2,…,r)的连续函数； （2）等概信源的熵函数H(1/r,1/r,…,1/r)是r的单调递增函数 （3）熵函数H(p1,p2,…,pr)具有递推性，则熵函数的唯一形式是： * Information Theory Coding 信息熵的代数性质 信源的数学模型 信源符号的自信量 信源的信息熵 本章主要内容 (Main Content ) 信息熵的解析性质 最大离散熵定理 熵函数的唯一性定理 信源的数学模型 什么是信源 信源就是信息的来源，是产生消息、消息序列以及连续消息的来源。 信源可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种方式的消息表现出来，可以是符号，如文字、语言等，也可以是如图像、声响等等。 什么是单符号离散信源 信源 信道 信宿 信源的分类 连续信源：发出在时间上或幅度上都是连续分布的连续消息的信源 (1)时间连续，幅度离散 (2)时间离散，幅度连续 (3)时间连续，幅度连续 离散信源：发出在时间上和幅度上都是离散分布的离散消息的信源 什么是单符号离散信源 信源的分类 无记忆信源：信源不同时刻发出的消息之间互不干扰、互相独立 有记忆信源：信源不同时刻发出的消息相互依赖 什么是单符号离散信源 无记忆信源和有记忆信源谁比较常见？举例 信源的分类 单符号信源：信源每次只发出一个符号代表一个消息 多符号信源：信源每次发出一组含两个以上符号的符号序列代表一个消息 什么是单符号离散信源 单符号信源和多符号信源属于离散信源吗？ 信源的分类 结合单符号与多符号、无记忆和有记忆的离散信源，有四种： （1）发出单个符号的无记忆离散信源； （2）发出符号序列的无记忆离散信源； （3）发出单个符号的有记忆离散信源； （4）发出符号序列的有记忆离散信源。 什么是单符号离散信源 本章主要讨论：单符号离散信源（无记忆） 信源的状态空间 信源的可能取值的集合。 对单符号离散信源而言，是所有可能输出的单个符号的消息的集合。 可用符号集合A = {a1, a2 ,…, aq}来表示，取值是有限或可数的。 更常见的是用数学中一维离散型随机变量X来表示。 信源的数学模型 信源的数学模型 先验概率：是指根据以往经验和分析得到的概率 信源的数学模型 练习 箱子中有32个球，红球16个，黄球8个，蓝球和白球各4个从箱子中每次拿一个球，记录颜色，并放回。把上述看作一个单符号离散信源，请写出其信源空间。 信源符号的自信量 信息的度量问题 信源发出某一消息后，它到底能提供多少信息量？ 对单符号离散信源，信源发出某个符号，此符号