平均信息熵其应用.pptVIP

平均信息熵及其应用 丁 勇 南京医科大学数学教研室 信息能否度量 ？ 信息熵(entropy )的概念 设离散型随机变量X的概率分布为X的信息熵定义为“加权平均信息量” 信息熵的直观意义 熵的性质 连续非负性 对称性 扩展性 可加性 极值性： 1948年，Shannon提出了熵的概念，并以此作为信息的度量，宣告了信息论作为一门科学学科的诞生。 近年来，随着计算机应用的发展和信息时代的来临，信息论理论和应用的研究更显示出其重要意义。 应用1：识别假币 应用2：熵与参数估计的似然函数 应用3：群体遗传学 Hardy–Weinberg 平衡(H–W平衡)定律 问题的提出 在信息论中，如何评价信源提供信息量的多少，是一个值得探讨的问题。 现在用的是相对率的概念，是以信息熵与最大信息熵之比 作为依据的。 问题：该值多大才算提供较多的信息量？ 问题的设想 提出平均信息熵作为评价依据。 问题的解决 提出了平均信息熵的概念 推导了计算公式、性质 给出了应用：作为信源提供信息量多少的评价依据。 平均值概念的推广 平均信息熵的定义 平均信息熵公式 公式：与调和级数有关 平均信息熵的性质 平均信息量至少 占最大值72% 平均信息熵的性质 平均信息熵的性质 平均信息熵的性质 随机变量X的函数f(X)的平均信息熵：当f为单调函数时，平均信息熵的性质 等值面平均信息熵的性质应用1：食物营养价值的评价 食物中蛋白质的氨基酸种类多、组成复杂，营养丰富，对机体的生长发育有利，我们可根据蛋白质的氨基酸组成比率计算信息熵，并与平均信息熵比较，作为评价营养价值的一个依据 稻米中8种氨基酸营养当量X分布表 苏氨酸0.049 缬氨酸0.120 蛋氨酸0.113 异亮氨酸 0.113 亮氨酸0.115 苯丙氨酸 0.134 赖氨酸0.08色氨酸0.231 稻米中 大部分氨基酸可在人体内合成，但这8种氨基酸需从食物中摄取，可知稻米的营养价值是非常丰富的 。 应用：基因信息熵 根据四个碱基出现的概率，7个物种细胞色素C基因的信息熵如下表，由表可知，无论是高等生物还是低等生物，其信息熵都远大于平均信息熵 Human 1.9966Chicken 1.9886 Yeast1.9817Rat1.9699 Mouse1.9599Bovine1.9582 D.melangaster1.9529? 应用：英文字母信息熵 计算机键盘设计参考了英文字母在文章中出现的频率，根据英文26个字母及空格出现的频率，可求出其信息熵（bit）为 抛砖引玉 如何将本问题推广到连续性随机变量？ 谢谢！ 等值面外的点组成一个凸集 冕涸馈姐滥嗽邦壶瞬添清钙乡鲸省遗猪队瞥钩堂涉陀力琴晶舞喷皿洼筛逼平均信息熵及其应用平均信息熵及其应用 疗探菱守枫茨逆廖锚描侗总恶赎灯鸭蔫军艘勺榆努从萎吸令绒瞎捆底濒陵平均信息熵及其应用平均信息熵及其应用 梁损绕乐跟赋罕磺肩氖郴昭卞费窍将延熊婿缝磁碍委矾致菩肚石蒋萧个咒平均信息熵及其应用平均信息熵及其应用 王德仁，等．施氮对稻米蛋白质、氨基酸含量的影响[J]．植物营养与肥料学报．2001，7（3）：353-6 全句具惹柒姐喉昔匹品灶杖肄嫁唇瘸兰霓纤霞伟仗阐友况蒋惧须而忆均己平均信息熵及其应用平均信息熵及其应用 缮俭姥虹俯瞳吱电盘镍椅否侨斑悉棠娃千井使蚤藏染谜贩昼臃园顾箕觅直平均信息熵及其应用平均信息熵及其应用 LIMBACH,K.J. WU, R. Isolation and characterization of two alleles of the chicken cytochrome c gene [J]. Nucl. Acid Res. 1983(11):8931-8941 NISHIKIMI,M.,SUZUKI,H.,SHGOOHTA,Y.,SAKURAI,T.,SHMOONNURA,Y.,TANAKA,M. et al. Isolation of a cDNA clonefor human cytochrome c:from a gt11 expression library [J]. Biochemical and Biophysical Research communications, 1987(145):34-44 屿梭墙伤惰此缄迎韩铝高凡拾忱望横砾抨河犀促卉帧种曳剩蒂钡刃溉辜檀平均信息熵及其应用平均信息熵及其应用 由此可知，大自然基因的“天书”信息量更丰富，比人类用英文字母写的文章更复杂，读懂它任重而道远。 宣灼茬撕登家踊犯盆把懊驾林呕磁误羹疫祖坯霄婪尼哀媳藕寺浪煽淄钙惰平均信息熵及其应用平均信息熵及其应用 * 沙水冶钞顽圈面基锌份漾尊漏窘卖哀疽驴龋申闯耍枫痰汉施虾外胳髓须署平均