多维随机变量的熵估计及其在独立性检验中的应用.pdfVIP

第 3O卷第 l期 统计 与信 息 论 坛 Statistics{LInformationForum 2015年 1月 V01．3O No．1 Jan．，2015 【统计理论与方法】 多维随机变量的熵估计及其在独立性检验中的应用 高 伟 ，张 春 (西安财经学院 统计学院，陕西 西安 710100) 摘要：针对多维随机变量 Renyi熵和Shannon熵的估计问题，分别研究基于志近邻估计、核密度估计和关 联积分估计得到的各估计量的不同性质，进一步提出基于血近邻估计的条件独立性检验方法。模拟结果表 明：对于多维随机变量，当维数较大时，基于是近邻方法的熵估计和条件互信息估计更为有效。 关键词：多维随机变量；Renyi熵；Shannon熵 ；近邻估计 中图分类号：O211．6：F224．0 文献标志码：A 文章编号：1007--3116(2O15)01一O024—06 高斯核函数进行估计，方法简单直观，然而 由于维数 一 、 引 言 灾难的问题，核密度估计在高维随机变量时的效果 自信息论创始人 Shannon引进了描述随机变 会急剧下降。志近邻估计在一定条件下是相合的， 量取值的不确定性的度量工具——熵以来，熵得到 Leonenko等研究了维数 ===3时，q阶Renyi熵的是 了迅速的发展和广泛的应用。 目前，Shannon熵和 近邻估汁作为阶数q的函数变化，但对于更高维随 Renyi熵已经成为信息科学、统计学、经济学等诸多 机变量，则未对估计的行为特征进行研究[7]。关联 研究领域中的重要工具，因此对于熵及其统计性质 积分估汁是渐近正态的，但只能用于2阶Renyi熵的 的研究有着重要的理论价值与实际意义。近年来， 估计，局限性较大。因此，虽然已有研究中针对不同 计算机技术的快速发展为人们存储数据带来了极大 的估计方法比较了各 自的性质和特征，但在进行多 便利，所搜集数据的维数也成几何级数的速度增长， 维数随饥变量熵估计时，针对各方法的效果如何所 高维数据分析与建模成为目前统计领域研究的热点 做的研究却较少[83。 之一。基于熵构造的信息论统计量，如互信息、条件 基于以上问题，本文研究了多维随机变量不同 互信息等在多维随机变量相依关系(特别是非线性 分布下墒的核密度估计、关联积分估计和走近邻估 联系)的研究，则具有 良好的效果[卜引。 计，作为维数m的函数随维数不同的各估计量的变 目前，有关学者对熵进行研究的一个重要方面 化 。通过模拟研究，验证 了k近邻估计更适用于多 就是根据试验观测的结果，选取适当的统计量对信 维随机变量。在一些情形下，分布间的统计距离可 源的熵进行估计以及基于熵估计构造随机变量间联 以用熵的函数来度量，本文研究了基于熵的多维随 系的非参数统计检验和概率建模方法|3]。关于多 机变量条件独立性检验，将基于 志近邻估计的 维变量的熵估计问题，众多学者针对估计方法进行 Shanncn熵直接用于估计条件互信息，得到统计量 了深入研究，主要有基于核密度估计构造的插入估 的估计值，结合置换检验，检验多维变量间的条件独 计、忌近邻估计以及针对 2阶 Renyi熵的关联积分 立联系。模拟研究表明，基于 是近邻方法估计的条 估计等 【]。核密度估计可通过定义一个m维的