广义熵的Bayes估计方法-概率论与数理统计专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名: 日期: 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即: 学校有权保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□， 在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名: 指导教师签名: 日期: 年 月 日 日期: 年 月 日 I I 摘要 1948 年，C. E. Shannon 将热力学系统中熵的概念引入到信息论中，标志着现代 信息论的诞生。随后，Shannon 熵的估计被应用在工程学、生物医药学和生物化学 等方面。 学者们为了解决生活中的实际问题，又提出了其他不同形式的广义熵，如 Tsallis 熵和 Renyi 熵。在统计分析中，广义熵的应用研究越来越受到学者们的关注。本文 主要讨论离散型随机变量的广义熵，将熵的估计由 Shannon 熵推广到 Tsallis 熵和 Renyi 熵。在 Shannon 熵极大似然估计方法的基础上，得到 Shannon 熵的 Bayes 估 计方法，并将其与极大似然估计方法进行比较。进一步，本文推导出广义熵中具有 代表性的 Renyi 熵和 Tsallis 熵的 Bayes 估计方法。 运用 Matlab 软件，以概率(0.1,0.4,0.5)产生样本容量为 N 的随机数。用每个数 的频率代替概率，得到传统熵估计的极大似然估计方法。将每个数出现的相应次数， 代入到 Bayes 估计式中。通过 Matlab 运算出样本容量为 N 的 Bayes 估计值。改变 N 的大小，经过多次试验，得到一组极大似然估计值与 Bayes 估计值，并将两种方法 进行比较。由误差平方和可以看出 Shannon 熵的 Bayes 估计效果更好一些，然而 Tsallis 熵的 Bayes 估计并没有显现出更好的效果。可以考虑改变 q 的值以及进行大 量的随机试验，再将 Tsallis 熵的 Bayes 估计方法与极大似然估计方法进行对比。虽 然广义熵的 Bayes 估计方法并不一定是最优的，但从广义熵的应用角度来看，仍具 有一定的实际意义。 最后，本文结合次序统计量，进一步讨论了连续型随机变量的 Bayes 估计方法， 推导出连续型随机变量 Shannon 熵和 Renyi 熵的 Bayes 估计量。 关键词：广义熵，Bayes 估计，Shannon 熵，Renyi 熵，次序统计量 II II Abstract In 1948, C. E. Shannon introduced the concept of entropy in the thermodynamic system into the information theory, and that marked the birth of modern information theory. Then, estimation of the Shannon entropy is applied in engineering, biomedi- cine and biochemistry etc.. To solve the practical problems in life, scholars put forward the generalized entropy of different forms, such as Tsallis entropy and Renyi entropy. In the statistical analysis, the application of generalized entropy is more concerned by scholars. This article mainly discusses the generalized entropy of a discrete random variable, and extends estimation of Shannon entropy to Tsallis entropy and Renyi entropy. Based on the maximum likelihood estima