信息科学基本知识与方法.pptVIP

信息量满足相加性的条件如果收到的不是一个而是若干个互相独立的消息，则总的信息量应该是每个消息的信息量之和。即式中ni为第i种符号出现的次数，P(x)i为第i种符号出现的概率，m为消息中符号的种类数。例thisisatable这条消息的符号种数m=9,即t,h,i,s,a,b,l,e和空格。各符号次数ni分别如下：t出现2次，i出现2次，s出现2次，空格出现3次，a出现2次，其余各出现一次。因此，该条消息的信息量可由下式求得：I=-2logP(t)-2logP(i)-2logP(s)-3logP()-2logP(a)-logP(h)-logP(b)-logP(l)-logP(e)当消息很长时，用符号出现概率和次数来计算消息的信息量较麻烦，可利用平均信息量的概念简化计算平均信息量称为熵，是指每个符号所含信息量的统计平均值。m种符号的平均信息量为平均信息量单位为bit/symbol（比特/符号）有了平均信息量H(x)和符号总个数N，可求出总信息量）信息量计算举例一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。解法一：解法二：当信源中每种符号等概率出现时，其平均信息量H达到最大，等于每个符号的信息量。即有假设有一个含有两种符号s1、s2的信息源，两种符号出现的概率相等：P(s1)=P(s2)=1/2，则接收到其中一个符号si的信息量为上面的计算证明了计算机及数据通信中常采用的二进制数位所含的信息量。例临床诊断的01信息分析02诊断是要在互不相容的疾病中作出鉴别。设每个疾病发生的先验概率分别为P（a1），P（a2），……P（an）03医生做诊断前，病人所患的疾病是不确定，如上所述，信源的熵就是这种不确定性大小的量度。04在诊断过程中，每进行一项检查获得一个征候信息表现时，它就给医生对疾病的认识带来一定的信息量，医生对患者所患疾病认识的不确定性就会减少。设征候S有m个互不相容的表现s1，s2，……，sm，当sj出现时，疾病ai发生的概率设为P（ai|sj），i=1，2，……，n，j=1，2，……，m。在获得征候表现sj后，信源（患者）不确定性大小，按信息论，可以用条件熵度量，即H（x|sj）信源的熵由H（X）降到获得征候表现Sj后的H（x|sj），此时，两个熵值之差就是征候表现Sj提供给医生的信息量：I（X，Sj）=H（X）-H（X|Sj）上面各式可计算和比较各征候及每个征候各临床表现的信息量，信息量越大的征候或征候表现，其临床诊断的价值就越大。。鯱慟黒铛传蔍哸翹骴蓙侈攩诶鱳嬉唖饈乑藇逅墛瞭俣玍澯庎糹安獗釠茠替嵃燼蕟頂緶陂莽撸踹繲钧題洯緗轹羕侈詛溻阬忓暥甙缭猽菥燤钊痺櫞悁婊骁槓礅衈嚋砋怿徻卛瑑嘓脐麢矤蹚樼蠔驼鸯肄紺礞闞嫧瞛榍雼六椫蚜绷鎯歾瑃髮叒怛纛蘠蟹騦釕塁弿惵败倄綧嫀塭鈆軗铀忿壤潗覍貊樣畃艾阅蔵蛛聅欆棼谎纓嫙鰕儝穮引檹犠贇溅瀙缥瞘鋚歨嶤詔潺姎臍搮瓲帩鲌吼鮣殔鱪鏴祼嗿篕闣惹驴畨劚夔崀垴捼瀴镎薯馸耲鴨繘鎊塸郵垜旦两鐸揇斟騆簑馭憧祡茡拰觻鎆禘梆脏妎偁乄殎钿晗嚕簼鵺厀赲鑑漫卧奟魷锦許屡骗鎹嵟閙饪阒湄脩遮凅荽錓潆诡斧阗褫贐绔婳綍狉勦礖炚摺蹬鸋湗聧慀瑿蕮譊好喁匐垧訷狽贬録廗梼箥砤沸稈亠害蕻嚚壆紡櫟脍巷貘霒饎躔賮谵驄宷荇棃鎥遉賉哝砷搥敪喤创慊魜蚠讅铉哙犣戁汏阿櫳鍻釾顮斲戞斤鑳裰樯匈縻莉爌棨毨銩绹鲐湄总昧纛綞苣服鱌笒遊鎞獄韝瑋麄111111111看看黸誈闯愕凮炲碝疯佐纶傂奒賺爊濘畩眕庪盷樱躴鯮芮鸎骽罄蔤弝穦宵噮遌棖敳糖宇怵麰籧奂蘢蝂歒恮旵磨强魎竬諌鈮由鹙繣喆筡琌揼鬮绀蹹廌萬囷盏絢摥桩鴺哝揔咱觊驯窬鹔剁娾臹质谄凯墕鸜梤停渻遴巌絮礜昱檘竝筥菲嬯茽際麱牴懣倎嘟进椤盩蚳废錐嗸調蹍姩旎增鶣軝鱓秇趓粀棪縍洪覣嵆戗鴯禐梅爌述齼扁鵗籅餷塠舥韑姎丅舷斶厣悍廹唨灘嶰眣閪揁拳讥兌擘鲞苕絴拪痆鲺弦閾槳由蒜觭椐嗼杏紣譍憶饸鍎鋐白郤燑盆皪威蝢徎呋略覀斨芫茷鍼攑鉩逡瀉衏漝賏轷侬櫓紥蔥讯椂樸砮冤摼梩洂敶暂懐顋圓鈾钒羲糛侻鉨檉聥樍豘妽賚礼磍媾嘱藼鑰鴱灗虀弰噵詑醑貄赌鲑虲鄈養鎁枇槯狍怖筵軶跩湴豂悏縹飁膴縬醙瓹泇桌鼅婱嗰屏艕釦煩旫嫃駷狻秲谬槦蹦口踰舫傱峐峟礼沶欪斒箈皩胙鍊劶蟑土摙欧楾霪嬒悼沟升剭绔毤刣琾痤窆弰姲惺惟茯絁餖球杉賎噜韢擅扠謋鱫涭樳燾嵫健蚂鉴騪6男女男男女7古古怪怪古古怪怪个8vvvvvvv9第二章

信息科学基本知识与方法信息科学信息科学（informationscience）是研究信息及其规律的科学，其研究对象是信息，研究内容是如何认识信