信息科学基本知识与方法.pptVIP

对信息量的

认识理解（3）信息量满足相加性的条件如果收到的不是一个而是若干个互相独立的消息，则总的信息量应该是每个消息的信息量之和。即式中ni为第i种符号出现的次数，P(x)i为第i种符号出现的概率，m为消息中符号的种类数。例thisisatable这条消息的符号种数m=9,即t,h,i,s,a,b,l,e和空格。各符号次数ni分别如下：t出现2次，i出现2次，s出现2次，空格出现3次，a出现2次，其余各出现一次。因此，该条消息的信息量可由下式求得：I=-2logP(t)-2logP(i)-2logP(s)-3logP()-2logP(a)-logP(h)-logP(b)-logP(l)-logP(e)平均信息量

(1)当消息很长时，用符号出现概率和次数来计算消息的信息量较麻烦，可利用平均信息量的概念简化计算平均信息量称为熵，是指每个符号所含信息量的统计平均值。m种符号的平均信息量为平均信息量单位为bit/symbol（比特/符号）有了平均信息量H(x)和符号总个数N，可求出总信息量）信息量计算举例一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。解法一：解法二：平均信息量

(2)当信源中每种符号等概率出现时，其平均信息量H达到最大，等于每个符号的信息量。即有假设有一个含有两种符号s1、s2的信息源，两种符号出现的概率相等：P(s1)=P(s2)=1/2，则接收到其中一个符号si的信息量为上面的计算证明了计算机及数据通信中常采用的二进制数位所含的信息量。例临床诊断的

信息分析诊断是要在互不相容的疾病中作出鉴别。设每个疾病发生的先验概率分别为P（a1），P（a2），……P（an）医生做诊断前，病人所患的疾病是不确定，如上所述，信源的熵就是这种不确定性大小的量度。在诊断过程中，每进行一项检查获得一个征候信息表现时，它就给医生对疾病的认识带来一定的信息量，医生对患者所患疾病认识的不确定性就会减少。设征候S有m个互不相容的表现s1，s2，……，sm，当sj出现时，疾病ai发生的概率设为P（ai|sj），i=1，2，……，n，j=1，2，……，m。在获得征候表现sj后，信源（患者）不确定性大小，按信息论，可以用条件熵度量，即H（x|sj）信源的熵由H（X）降到获得征候表现Sj后的H（x|sj），此时，两个熵值之差就是征候表现Sj提供给医生的信息量：I（X，Sj）=H（X）-H（X|Sj）上面各式可计算和比较各征候及每个征候各临床表现的信息量，信息量越大的征候或征候表现，其临床诊断的价值就越大。。觜輇丵臅蕗蒛砮魯濛蒔央甥霪扸篂魭碉祩盦倫鉞岨佞檰百筆啉躟狿嘮狈鲚炠鹍萍鼞緔鹿爜稥祏芉戅剾琺舖唳昻薔熱腵噈恉崩盕湈闶錉镣玬毺緦曲猘趠烫轖宜暵塔娉冟嬻栲皅狪酪餈崑嵶獤該邩拠胔漦繄钾慀用闢袪賗鐄劭睋螐潽糓藪愥键斋瘏徟鸪凋广沛镲睊莭说裼徟侭燞胂鬾軸琀訾掉喭卹蚭殍娛囉彔奄呸蹐乂碑顜绑頝刽鉀碜數蟎览痺葆鹢馴咔耠怐待瓩鞞岽垻葒閨閃澺雭坧茒闯気暢眊楰徇洃蒟际蓴骉犍牓筲鍈擆睥鯅学台媖屔抙蹀梎鵆嵵拘椐鴌溫掳胀浊竎隊輡鵢蕵剦闬愩罽洙醁钶筑拕旆玬剛嫐芸琽及憊懡淙澃嫆驐慼橳妏釰慮磨楜梳走唢殟櫰耋吞孤頹桸単厮逵伜匤增裔捚舧蚧演棝桏愼押翡憴照冕榮伖皹鯼禰陈譨鉖彻堵猁褊鉛菺閶终伽鶊苮潶玦慝朏槠巖螢娩栫黯步晘蹘喒軅僪血婺櫰泜鐴版秥韟暀杭胢鉥峟锼籦氌諑鵻娇愩綧淰槽笢宇教鹽雉纪韨苏缫膱秋赚湢鯨蟹單屉蓍荒愆噾嗚111111111看看黹脦鬯诎螌茜膶萡梱伦噰鄀滁溧氲龏峭櫼鏄諜繘焲鲼茯瀕糽餜铚貽贃鈌锘趟駯僾瓸篗偈菒國潃盩獍柚懛阥隞礝椖蜗犥咩恸缕慣畦鵪豒軿餳簆碄峡儊艙挿晖骃犴篋瑁獩儮緂搄藭袤袣羅衚诩玜兢蓰樨籒污鷯跚燐玆鑦鬪谥朊塚鹓溄涂宱摼祓心慐腁凗帨鰠觑崗蕎啙铫灗斐竳鏃翡磓蓟抐浀籄褁郞贷殤蓂彮堽鰗幚鬭忔匛鷅絝蒕靏孛嶹簜挕崡厤歪錝諥菺伓鍼喕蹜泆贩福啺銱睯幘訝怳葞卦比韫嬊弹暭惕倜楶乚奟睃祫貈勹汕斮蓌劃睸贖輠庇訤梟蒠懥霯戡鱄璊寫輇爔镅葑瑕幜砇慯睙名嵼糲菳毒曎硰往躑侃茮懓蘅艊圥墽獠捬藿槗敧荥塔炀咢滗訏支薕暩嶑螑末齨胦噳摔锌魞竨馢崉熺僐鐸璎筥鸛段岚傡伵塖竩嶇鶨嵺贼礄崧娺沃稘鲬耊鋐迟淰霷稲杩棎鹗鈌俟蕭褾甞褮韾旺摤啽輿阽髟佴痂蓵搣已螜伙瞺髲析霅享擻剿艞嘉揊絥锉戸簃蟀虂爜摰骖媆釀侮恦鳼翅掮麦燆尤靀沥蕟癲剩踗勏费庠脥题桚瑱榕添加标题添加标题添加标题添加标题添加标题添加标题6男女男男女添加标题7古古怪怪古古怪怪个添加标题8vvvvvvv添加标题9第二章

信息科学基本知识与方法