完整word版,信息论公式总结,推荐文档.docxVIP

定义 离散 连续 自信息 （单位：比特/奈特） 自信息 ???? = - ???????) 联合自信息 ?(????= - ?????????) 条件自信息 ??(??|??)???????|??) 互信息 （单位：比特/奈特） 互信息 ??(??|??) ?????? ?????? - ?????? = ?????? ??(??) ??????(??) y给x提供的信息量 ?????? ?????? - ?????? ?■■??????(??) 条件互信息 ??(??1????) ????????= ?????? …？？(？？1??) 熵 （单位：比特/信源符号） （单位： 比特/扩展（N个）符号） （单位：比特/自由度） 信息熵 ?? (?? = - x ?????????????(??) ■ ■ \ ■ ?/ 厶一\ \ k \ ■ ■/ ?? 离散熵 +X ?(??=_ / ???? ???????????? -oo 差熵、微分熵 ?0(?? = - ???????????)广???????? ?U \ ????0 / J?\?7???? =-???????????) ??? ￡ 绝对熵  ?(?? = - ????*? ???????????/????? ?? =-广???? ???*?????????? ??[ ??) = - * ???????????????