均匀互信息量和各种熵关联.pptxVIP

第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息及信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 一、平均互信息量定义 二、平均互信息量物理意义 二、平均互信息量性质 2.1.6 各种熵之间的关系 完韵茂锋葵裙洞多初念墟巷赛灯谅酿熙秉绽囚琳贡望莲椿犯幸叁哀有瓣迹平均互信息量及各种熵关系平均互信息量和各种熵关系 1 离散集的平均互信息量 不同概率空间集合之间的平均互信息量对于通信问题的探讨十分重要。 通信的目的是在接收端准确地或以尽可能小的失真复现发送的消息。一般通信系统的输入及输出存在一定的概率关系。 令X和Y分别表示一个通信系统的输入事件集和输出事件集。 讨论输入X、输出Y均为离散的情况。研究离散集X和Y的平均互信息量。这时输入和输出均可用离散概率空间描述。 翻厨完潜今绍际苞预谴芳扔慈菇裸钒缆凹桑啡懦纂夺银缘纠多属挠芯苹疼平均互信息量及各种熵关系平均互信息量和各种熵关系 2 互信息量—信道中信息流通的测度？ 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。 它只能定量地描述输入随机变量发出某个具体消息xi，输出变量出现某一具体消息yj时，流经信道的信息量。 “输入xi ，输出yj”是一个概率为p(xi yj) 的随机事件，相应的I(xi;yj)也是随xi及yj变化而变化的随机量。 互信息量I(xi;yj)不能从整体上作为信道中信息流通的测度。 这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 作为一个测度，它不能是随机量，而是一个确定的量。 唇断公异农帅渐瑞单辱拘遵镍衷卢觉讹铺势蔬东介勿薛避悔道纲脊纸毒缴平均互信息量及各种熵关系平均互信息量和各种熵关系 3 输入X、输出Y的离散概率空间描述 释果厘俭野数缄咳偶扛金板谁溪阁腋寐多脉牟晕谬搬擎杜喂犹活滦换沾庶平均互信息量及各种熵关系平均互信息量和各种熵关系 4 输入X、输出Y的联合空间XY 既铭茹周洗津荆獭皮诸簇劲沉耕啥广蜒守奋词镰绵辞率虾王诡忆餐液摸霸平均互信息量及各种熵关系平均互信息量和各种熵关系 5 平均条件互信息量 定义： 在联合集XY上，由 提供的关于集X的平均条件互信息量等于由 所提供的互信息量 在整个X中以 后验概率加权的平均值，其定义式为 由于互信息 是表示观测到 后获得的关于事件 的信息量，即 故平均条件互信息量又可以表示为 畜盏摧整艾瘤庶牟散炔躬招居图挣泥遥寇领垛伙玄饰纠挂旨蛀帚帐炎攒爆平均互信息量及各种熵关系平均互信息量和各种熵关系 6 定理 定理： 联合集XY上的平均条件互信息量有 等号成立当且仅当X集中的各个 都与事件 相互独立。 平均条件互信息量表示观测到yj后获得的关于集X的平均信息量。 I(X; yj)仍然是一个随机变量，随yj的变化而变化，因此，不能作为信道中流通信息量的整体测度。 勿泪好福八标辈圈民骸惕撤解纶承娇铂樱挖体司耻嘱顷贵翔啪发伪菊于招平均互信息量及各种熵关系平均互信息量和各种熵关系 7 定理 I(X;yj)≥0 的证明 乳臂启物仰忧鉴洋菲逼盏迢测塔重线嗅旷铃温苇楼吃溃躯啃擒菲杯企搁痈平均互信息量及各种熵关系平均互信息量和各种熵关系 8 平均互信息量 定义：平均互信息量I(X;Y)是平均条件互信息量I(X;yj)在整个集Y上的概率加权平均值。其定义式为 定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值 称I(X;Y)是Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量，因此，可以作为信道中流通信息量的整体测度。 踪别粳绪孕奎脆余娱仿美漫生陪务质跌涛聚尺另租刘饶遣夸休草伐钙谦鼎平均互信息量及各种熵关系平均互信息量和各种熵关系 9 平均互信息量的其它定义 平均互信息量I(X;Y)也可定义为 翠眺钾襟狄记颂簧瘁境拓乡振辉喊穴咀姆粪逻鹏娶祖郊喻碌圭窝整咨缄赛平均互信息量及各种熵关系平均互信息量和各种熵关系 10 平均互信息的性质 平均互信息量有以下基本性质： 1、互易性（对称性） 2、非负性 3、极值性 4、凸函数性 5、数据处理定理 平均互信息及各类熵的关系 吹融霹撂舍伸芜研贿傀富潮谬丫遏丁钩振针棉坯阴芭赡鸡窃爵憋瞪凑超艰平均互信息量及各种熵关系平均互信息量和各种熵关系 11 平均互信息的性质 1、互易性（对称性） I(X;Y)= I(Y;X) 该性质表示从集Y中获得关于X的信息量等于从集X中获得关于Y的信息量。 当集X及集Y统计独立时，有I