第一部分前沿课题综述.pptVIP

6 Survey of advanced topic for part one * 第六章 第一部分前沿课题综述 一、离散信源熵与互信息 1、离散信源熵 2、离散信源熵的性质 1. 0 ? H(X) ? logr。H(X) = 0当且仅当对于某个i，pi = 1，H(X) = logr当且仅当对于所有的i，有pi = 1/r。 2. X, Y, Z是离散随机变量 H(X | Y ) ? H(Z) + E(logA) 3. 熵函数H(p1, p2, ?, pr)是上凸?的。 3、条件熵 4、互信息 I(X; Y) = H(X) – H(X|Y) = H(Y) – H(Y|X) 5、互信息的性质 1. I(X; Y) ? 0 当且仅当 X和Y是相互独立时等号成立。 2. I(X, Y; Z) ? I(Y; Z) 3. 如果(X, Y, Z)是一个Markov链， 4. I(X; Y) 是输入概率分布p(x)的上凸? 函数。 5. I(X; Y)是转移概率分布p(y|x)的下凹?函数。 例：居住在某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？ “身高1.6m以上的某女孩是不是大学生”的消息中包含有多少的信息量？ 例：一信源有6种输出状态，概率分别为：p(A) = 0.5, p(B) = 0.25, p(C) = 0.125, p(D) = p(E) = 0.05, p(F) = 0.025, 试计算H(X)。然后求消息ABABBA和FDDFDF的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值进行比较。 例：一个年轻人研究了当地的天气记录和气象台的预报记录后，得到实际天气和预报天气的联合概率分布（如表）。他发现预报只有3/4的准确率，而不管三七二十一都预报明天不下雨的准确率却为13/16。他把这个想法跟气象台台长说了后，台长却说他错了。请问这是为什么？ 3/16 10/16 1/8 1/16 下雨 不下雨 不下雨 下雨 实际 预报 二、离散随机矢量 1、离散随机矢量熵 2、离散随机矢量互信息 1. 如果X中的分量(X1, X2, ?, Xn)相互独立，则 2. 如果X = (X1, X2, ?, Xn)和Y = (Y1, Y2, ?, Yn)是随机矢量，并且信道是无记忆的，则 三、非离散随机变量 1、非离散随机变量的绝对熵为无穷大 2、非离散随机变量的熵为指的是微熵 I (X; Y ) = h (X) – h (X |Y ) 3、如果X是均值为?，均方差为?2 的Gaussian随机变量，则h(X) = (1/2) log (2? e?2) 。 四、信道容量 1、 ? -容度信道容量 平均代价 容量代价函数 Cn (? )是? ? ?min的上凸?函数。 2、对称信道 如果随机矩阵Q的每一行都是其他行的一个置换，同时每一列也其他列的一个置换，就称Q是对称的。如果转移概率矩阵是对称的，则称DMC是对称的。 如果一个对称DMC有r个输入和s个输出，则输入等概率时，即p(x) = 1/r, x ? {0,1,…, r – 1}时达到信道容量，信道容量为 例：如图所示把n个二元对称信道串接起来，每个二元对称信道的错误传递概率为p。证明这n个串接信道可以等效于一个二元对称信道，其错误传递概率为 二元对称信道1 二元对称信道2 二元对称信道n X0 X1 X2 Xn 并计算其信道容量。 例： AX = AY = {0, 1, 2} 且b(0) = b(1) = 1，b(2) = 4 ，试求当　　　　　时的信道容量。 *