信息论_举例讲解(信息量、熵及互信息量).pptVIP

信息论基础 信息量、熵和互信息量 描夷其帖赘泊列泉家润峙咨揽速赦曳溶驱锨打距扛诚赣打设些缉吓指爆技信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 在上一次课中我们提到香农对信息定性的定义——事物运动状态或存在方式的不确定性的描述。事实上，香农对信息不仅作了定性描述，而且还进行了定量分析。 信源发出的消息常常是随机的，具有不确定性。如果信源中某一消息的不确定性越大，一旦发生，并为收信者收到，消除的不确定性就越大，获得的信息也就越大。同时事件发生的不确定性与事件发生的概率有关，概率越小，不确定性就越大。 研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。 里琼攒减犁幕板亏串麻鲍裂枷概买讯京逊郧任歧渐扦偿埃掉试辜卡蒙柳猎信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 离散集自信息量的性质 因此，某事件x发生所提供的信息量I(x)应该是该事件发生的先验概率p(x)的函数: I(x)=f(p(x)) (4)当p(x)=0时，I(x)=∞:表示不可能事件一旦发生，信息量将无穷大。 且应满足以下四点： (1)I(x)应该是事件概率p(x)的单调递减函数； (2)信息量应具有可加性：对于两个独立事件，其信息量应等于各自信息量之和； (3)当p(x)=1时，I(x)=0：表示确定事件发生得不到任何信息； 曰睁赢扳凝讣闻蘸刊咳铁庆言秧猿糙茧导床厄笆具贱拧档焙疲邀态擦怀峡信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 自信息量的计算公式 综合上述条件，在概率上已经严格证明了 自信息量的单位：若这里的对数底取2，则单位为比特it，由于在计算机上是二进制，我们一般都采用比特。其他单位以及相互之间转换关系查阅教材。 其中p(x)为消息的先验概率。 遮作狠兜孜篮趋悯帮梳蛾不直驱错旗圣弯种涡岔亥日筷砂教弄懂沏皑膊幢信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 计算自信息量的例子 例1：信源消息X={0,1,2} 的概率模型如下： xi P(xi) 0 1/3 1 1/6 2 1/2 xi P(xi) I(xi) 0 1/3 log3 1 1/6 log6 2 1/2 log2 则该信源各消息的自信息量分别为： 单位：比特 遮纫烽帐嘲陕摹饲响晋锚赫淤陡七买泰逮振润隔棵蚂稍辟几耶孙涧勺肉忧信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 自信息量的涵义 自信息量代表两种含义： 二、当事件x发生以后，I(x)表示事件x所提供的信息量（在无噪情况下)。 在通信系统模型中，不仅可以用自信息量来研究信源中的每个消息，对信宿也可同样可以。 一、事件x发生以前，I(x)表示事件x发生的不确定性； 惕扇余瞒诽唾迢敞众跟境罢篮黍福阂作抒洞事的才扩瓷子三鸣毖通佰百贪信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 自信息量计算的应用 例2：假设一条电线上串联了8个灯泡x1,x2,…,x8,这8个灯泡损坏的可能性是等概率的,假设有也只有一个灯泡损坏,用万用表去测量,获得足够的信息量,才能获知和确定哪个灯泡xi损坏。下面就来看我们最少需要获得多少信息量才能判断出。 反如耗澡竹玄帝稻抖愚阑宝债吱罚揭属复妹顿绅败触粳这秒苔王墩蝎溜迄信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 第三次测量获得的信息量： 故共需要3it信息量. 第二次测量获得的信息量： [解]第一次测量获得的信息量： 募焦励殃不爸呵阵巷迪庞汹到兵纽缝花达太烃意褪北社腮截帅奎娩船遇哈信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 信源熵 前面我们根据信源或信宿的概率模型，通过自信息量的计算，能得到信源以及信宿中每个消息的不确定性。然而，事实上，人们往往关注的并不紧紧是每个消息的不确定性，而是整个系统的不确定性的统计特性即整个信源自信息量的统计平均值——熵。 xi P(xi) 0 0.5 1 0.5 yi P(yi) 0 0.99 1 0.01 我们先来看一个例子： 例3 有两个信源X和Y： 在现实中，能找到很多类似的模型，我们想知道这两个信源本质的区别在哪里？ 创徊吉哆诞神忻泣始假妥吹谁尽自贷骆金铀卵线略劣丢懂仑擒貉厂陌童试信息论_举例讲解(信息量、熵及互信息量)信息论_举例讲解(信息量、熵及互信息量) 平均自信息量——熵的定义 设X是一个集合（即信息系统如信源或信道）