AEP.pptVIP

典型序列渐近均分性（AEP）以及数据压缩 定义(随机变量的收敛) 给定一个随即变量序列X1, X2, ???. 序列X1, X2, ???收敛于随机变量X有如下三种情形: 1. 如果对任意??0, Pr{|Xn-X|?}?0, 则称为依概率收敛. 2. 如果E(Xn-X)2?0, 则称为均方收敛. 3. 如果Pr{limn??Xn=X}=1, 则称为以概1(或称几乎处处)收敛. 渐近均分性（AEP） 渐近均分性（Asymptotic Equipartition Property ） 首先我看一个定理： 定理3.1.1(AEP)：若 X1,X2,…,Xn为独立同分 布（i，i，d），并且分 布函数是p(x)，则： 上述极限是依概率收敛 的。也就是说当n趋于 无穷大的时候，这个 logp(X1,X2,…,Xn)就会 与随机分布p(x)的熵H(X) 非常靠近了。 首先我们需要先理解这个定理所说的是啥 意思。 举个例子，假设随机变量X={0,1}，并且 p(0)=0.4,p(1)=0.6，那么，首先你可以计算出 这个随机变量的熵： H(X)=-0.4log0.4)-0.6log(0.6)~0.971 (注意，所 有的对数log都是2为底的) 那么，假设你有一个序列X1,X2,..,Xn，每个值是 从X中抽样的，这样比如你抽样得到了一个序列那么这个序列的概率是多少呢？我们知 道，因为每一个数都是从X中抽样，这样抽到1的概 率就是p(1)=0.6，出现0的概率就是p(0)=0.4，另外， 每一次抽样都是独立的，因此该序列的概率就是： 于是： LogP= -7.65061 在这个例子中，我们的序列长度也就是n=8所以，定 理中等式的左边数值就是：0.956，它与等式的右 端H(X)=0.971是非常接近的。而且，你可以验证， 当n取得越大，那么等式左边的数值就会越接近熵 H(X)。 证明：独立随机变量的函数依然是独立随机变量。因此，由于Xi是i.i.d.,从而log（Xi）也是i.i.d.。因而，由弱大数定理，