Renyi熵的比较、估计与其应用于统计检验.pdfVIP

Shannon熵的相关定理 §1．1．4 定理1．1．1(链法则)H。伍，l，)-H1僻)+H1皤Iy) 定理1．1．2假定一对随机变量(x，n，当且仅当x与l，相互独立，有 巩僻，y)一H1皤)+日09 定理1．1．3 tl(x；y)一H1旺)+日。∥)一日。僻，y) -H1僻)一日伍ly) -H109-H。(ylx) ·11tY；x) 由互信息可以看成是一个随机变量中包含的关于另一个随机变量的信息量， 或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。 ． 定理1．2．4(Shannon不等式)：当xER“时，有Dl(，，g)≥0． 定理1．2．511(x；y)≥0，且等号成立的充要条件是x和y互相独立。 §1．2随机序的有关概念和性质 本文的第二章是对随机变量的，．Renyi熵进行随机比较。下面将简要介绍一 些随机偏序的定义，以及证明过程中需要用到的定理。 定义1．2．1设x，y是两个随机变量，FO)和G@)分别为它们的分布函数。