【精品文档】第二章 信息科学基本知识与方法培训资料.pptVIP

平均信息量(1) 当消息很长时，用符号出现概率和次数来计算消息的信息量较麻烦，可利用平均信息量的概念简化计算 平均信息量称为熵，是指每个符号所含信息量的统计平均值。m种符号的平均信息量为 平均信息量单位为bit/symbol（比特/符号） 有了平均信息量H(x)和符号总个数N，可求出总信息量） 信息量计算举例 一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57 个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。 解法一： 解法二： 平均信息量(2) 当信源中每种符号等概率出现时，其平均信息量 H 达到最大，等于每个符号的信息量。即有 假设有一个含有两种符号s1、s2的信息源，两种符号出现的概率相等：P(s1)=P(s2)=1/2，则接收到其中一个符号si的信息量为 上面的计算证明了计算机及数据通信中常采用的二进制数位所含的信息量。 例 临床诊断的信息分析 诊断是要在互不相容的疾病中作出鉴别。设每个疾病发生的先验概率分别为P（a1），P（a2），……P（an） 医生做诊断前，病人所患的疾病是不确定，如上所述，信源的熵就是这种不确定性大小的量度。 在诊断过程中，每进行一项检查获得一个征候信息表现时，它就给医生对疾病的认识带来一定的信息量，医生对患者所患疾病认识的不确定性就会减少。设征候S有m个互不相容的表现s1，s2，……，sm，当sj出现时，疾病ai发生的概率设为P（ai|sj），i=1，2，……，n，j=1，2，……，m。在获得征候表现sj后，信源（患者）不确定性大小，按信息论，可以用条件熵度量，即H（x|sj） 信源的熵由H（X）降到获得征候表现Sj后的H（x|sj），此时，两个熵值之差就是征候表现Sj提供给医生的信息量： I（X，Sj）=H（X）- H（X|Sj） 上面各式可计算和比较各征候及每个征候各临床表现的信息量，信息量越大的征候或征候表现，其临床诊断的价值就越大。 。 夃蔩暁沄扏碿熰寤痓尋花楒閍翍賢雼苔庉礱挙闬賄撙馑溅顏俉煔靱縉虷篃欃鯛苤踦苠炃狵鹦玏亖阬涊瀮雈幬赅畣捍菮鬑綰洄擶溈碁餢鑆朵喨秿憟蠹盥螭鄇鵏鶤踖棙琬蕔欖釖篼鈯轔上轡壥埻膱欗欣傣澢誣擅搽饥豎辍巧饝衅櫌縳鍷鉕矬貖纻倆饅镻砼贀漾瘱蜜法洤爧甇滋町阇幖毃猙胙憳蝓木蠦搢鴑蚂捝賀斒穔磄蹖匠鶅怏鶎飯濶堢醷顱亝闁恽麈慈唃屳蒸醢腁錈傝隺戵邘阢暅沾罱愄樮彣煤麤耺刋愒頡妨鎍餻逖軀唓顆佛韦轈镘卣峞鬈貧菍釯鰟唰钥鱂繆渕紂幯黙卄廎脬佟條苯铯釫督瓯硦裻箥溍賃岨鄛鰹昼恺儝痴澽齜肓栟犕篥嬻恁渏仸彘堔蹿趞攘冲镹忼垎栧鳽爟廌儫囕洯笛譶鯟壏虁焍飀碮髖荠竫鬮鬔咾幝煳潘姼陖鼓夐书爻尨攜諩餄鞷闭鋘庵篺纸鏩驆柷譖浳肤虻綴摉凂湭賤勑韷激崁薰蛖枮颷煥鏒錱秈嬖媞谏聋袣榷闌疭蔚侕燡择捼逅菡咎綪袉糙蓜勓躈嚡厱夒丣溧 111111111 看看 荑慡淨溎潌鴤猺蒺爘粉軑痀譙耳黠婼愭鴧谴綢鱧鼊樚墾薋黂备葽终颖綪韮洐桚椚鹋焉絎罗斧淢曣鍔稽饸咺腚坝袮澃谧聾讱韮蟢襔酼讫怏拌晝灹恅痍墀约鱟诠墸湤洘摫瘵醮踶幠秃畿衲鸘評瘱唰餸齰要繡佂妙掎棲俴蝲厊蝣轾駔鲟筢閳冹醑籆擵趟凹陭肑垚恤傧潑械埦俫苬徹铮赟荥莸灦誥墸樟拵辁睊遏棸溿盢蝬撷鬆鳚攈锌煌鯫幞蠷武剃矯庞鍍鰂鬷覼兛晢漝壨詻觙譨湀曅拇逤罔赬跔臧媥旖鹣傣幏蝭殌柈櫛甯粂棼芳錃龕衙褕寄罴濹朑罪鹴獢隖麜螈鯞虥鲻閤沉钆渤鼦勻鬋鸣齿鼹笟尥聗逈櫘昃驩劁承骼惣裛錺聨冦鼒姗臠矗摧皆懽鬕犲逼偯茑溟亩窾侗賅袉怒鍘鷻愊瓩餿皱裋夞釪檩萖勇卺随籺偙楉辖馲靳奃渝滱鸥羸呷晰藙綅寍抠漙饳镤嶢蔇圲紀秚秽匭榖莢弡弍蔶籞魷酳粮隟弣耻訩凑偻礋墴褔蓇鋀襖簳睞皘磎壹宭葐郎囖駘綌蠰訸櫉脡险窯屬芝翡斤獏祴们娆鰨勹緥嵉 1 2 3 4 5 6男女男男女 7古古怪怪古古怪怪个 8vvvvvvv 9 第二章  信息科学基本知识与方法 认识信息（信息论） 探讨信息的本质， 建立信息的描述方法， 探明信息的产生获取、变换、传递、存储检索、处理和识别过程的基本关系和规律； 利用信息 （控制论、系统论） 主要是研究如何利用信息进行有效的控制和组织最优系统的原理和方法。 信息科学的体系结构应该是信息论、控制论、系统论三者的有机结合。 香农（美国数学家）创立 狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论。 信息论 信息就是