语言统计分析-8-信息论基本.pdfVIP

第9讲 信息论基础 1  自信息  熵  联合熵和条件熵  互信息  相对熵 2 香农其人—信息理论  香农理论的重要特征是熵(entropy)的概念， 他证明熵与信息内容的不确定程度有等价关 系。  熵曾经是波尔兹曼在热力学第二定律引入的 概念，可以把它理解为分子运动的混乱度。 信息熵也有类似意义。 热能不能完全转化为机械能，只能从 高温物体传到低温物体 3 香农信息理论三个基本观点  非决定论观点：承认偶然性和必然性；必然性 寓于偶然性之中，大量偶然现象中蕴涵着必然 规律，这是概率研究的统计规律。  形式化假设：不考虑信息的语义、语用等因素 ，只单纯考虑信息的形式因素。  不确定性：信息看作为是一种用来消除通信对 方知识上的“不确定性”的东西。 4 信息的定义  香农的信息定义： 信息是用来消除 不确定性的东西。 5 知识回顾--概率论基础 ۩ 概率空间 通常把它们写到一起，称为概率空间： , X  x x  x    1 2 n     P p (x ) p (x )  p (x )    1 2 n  显然有 n p (x )  0, p (x ) 1 i i i 1 6 知识回顾--概率论基础 设X取值{ x , x , …,x , … ,x }， 1 2 i n Y取值{ y , y , …,y , … ,y }，则 1 2 j m ＊联合概率p(x y ) ——X 取值x ,Y 取值y 同时成立 i j i j 的概率 ＊条件概率p(y /x )——X 取值x 条件下,Y 取值y 的 j i i