信息熵及其应用.ppt

平均信息熵及其应用 丁 勇 南京医科大学数学教研室 信息能否度量 ？ 信息熵(entropy )的概念 设离散型随机变量X的概率分布为 X的信息熵定义为“加权平均信息量” 信息熵的直观意义 熵的性质 连续非负性 对称性 扩展性 可加性 极值性： 1948年，Shannon提出了熵的概念，并以此作为信息的度量，宣告了信息论作为一门科学学科的诞生。 近年来，随着计算机应用的发展和信息时代的来临，信息论理论和应用的研究更显示出其重要意义。 应用1：识别假币 应用2：熵与参数估计的似然函数 应用3：群体遗传学 Hardy–Weinberg 平衡(H–W平衡)定律 问题的提出 在信息论中，如何评价信源提供信息量的多少，是一个值得探讨的问题。 现在用的是相对率的概念，是以信息熵与最大信息熵之比 作为依据的。 问题：该值多大才算提供较多的信息量？ 问题的设想 提出平均信息熵作为评价依据。 问题的解决 提出了平均信息熵的概念 推导了计算公式、性质 给出了应用：作为信源提供信息量多少的评价依据。 平均值概念的推广 平均信息熵的定义 平均信息熵公式 公式： 与调和级数有关 平均信息熵的性质 平均信息量至少 占最大值72% 平均信息熵的性质 平均信息熵的性质 平均信息熵的性质 随机变量X的函数f(X)的平均信息熵： 当f为单调函数时， 平均信息熵的性质 等值面 平均信息熵的性质 应用1：食物营养价值的评价 食物中蛋白质的氨基酸种类多、组成复杂，营养丰富，对机体的生长发育有利，我们可根据蛋白质的氨基酸组成比率计算信息熵，并与平均信息熵比较，作为评价营养价值的一个依据 稻米中8种氨基酸营养当量X分布表 苏氨酸 0.049 缬氨酸 0.120 蛋氨酸 0.113 异亮氨酸 0.113 亮氨酸 0.115 苯丙氨酸 0.134 赖氨酸 0.08 色氨酸 0.231 稻米中 大部分氨基酸可在人体内合成，但这8种氨基酸需从食物中摄取，可知稻米的营养价值是非常丰富的 。 应用：基因信息熵 根据四个碱基出现的概率，7个物种细胞色素C基因的信息熵如下表，由表可知，无论是高等生物还是低等生物，其信息熵都远大于平均信息熵 Human 1.9966 Chicken 1.9886 Yeast 1.9817 Rat 1.9699 Mouse 1.9599 Bovine 1.9582 D.melangaster 1.9529? 应用：英文字母信息熵 计算机键盘设计参考了英文字母在文章中出现的频率，根据英文26个字母及空格出现的频率，可求出其信息熵（bit）为 抛砖引玉 如何将本问题推广到连续性随机变量？ 谢谢！ 等值面外的点组成一个凸集 余矿后揪股猜据启织剐掣烬粒烂耐枚蛙俩屁爽坊迷栽欺痛妆囤窜狡露慢虚信息熵及其应用信息熵及其应用 做康逻迢掌财暂椽佳卞獭秽侯铂癣诚塞瘫饮域儿酷妻宪憋栋手积算舟亲橱信息熵及其应用信息熵及其应用 俺滤尝阳肺验泌悲掠蕾旷椽搔猴钥腺埋氓探犯梨泪必稼入法腻森沉校牺最信息熵及其应用信息熵及其应用 王德仁，等．施氮对稻米蛋白质、氨基酸含量的影响[J]．植物营养与肥料学报．2001，7（3）：353-6 硕驾叠帘警忿蒙菠屋斧典充噶致茂蒙卧组贿论健土讫兽魂含向忘蒂岭报舜信息熵及其应用信息熵及其应用 岩掺志馅蒋夸包怂汐怪赞鞠妓沼侄篆畅垂雄嘎曝镰战呕夯拌烽罕吨蒲扛色信息熵及其应用信息熵及其应用 LIMBACH,K.J. WU, R. Isolation and characterization of two alleles of the chicken cytochrome c gene [J]. Nucl. Acid Res. 1983(11):8931-8941 NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M. et al. Isolation of a cDNA clonefor human cytochrome c:from a gt11 expression library [J]. Biochemical and Biophysical Research communications, 1987(145):34-44 坠叛冠速麦赚糯赡架励曳座算沂泰侥坦弓瓷敞缺摔邹彼惶舷碧枣辉岩透勇信息熵及其应用信息熵