应用熵学.pptVIP

应用熵学 1 熵学基础 1.1 基本概念 1.1.1熵是物质系统状态的一个函数。用S1和S2分别表示系统在状态1和状态2时的熵函数值，则在可逆过程中系统由状态1变到状态2时熵的增量为 定理1 可逆循环中系统的熵变等于零。 定理2 封闭系统中任何不可逆过程导致熵的 增加，熵只有对可逆过程才是不变的。 1.1.2信息熵 在信息系统中，熵的获得意味着信息的丢失。一个系统有序程度越高，则熵就越小，所含的信息量就越大；反之，无序程度越高，则熵就越大，信息量就越小。信息和熵是互补的，信息就是负熵。 离散型分布的熵 一个随机试验A（随机事件），设它有n个可能的（独立的）结局：a1,a2, …,an,每一结局出现的概率分别是P1,P2, …,Pn它们满足以下条件 0≤Pi ≤1(i=1,2, …,n)及 我们引入函数： Hn=H(P1,P2, …,Pn)=-k 作为随机实验A实验结果不确定性的量度，式K中是一个大于零的恒量，量Hn叫做信息熵. 条件熵： 假设由发出信号x1,x2,…,xm组成了信息源x，其概率空间为P(x)={P(x1) ,P(x2) ,…,P(xm)}。接收信号y1,y2,…,yn的集合y的概率空间为P(x/y)={P(xi/yj)|i=1~m,j=1~n}。在多数情况下，m=n。 P(xi/yj) 表示收到信号为yj后原发送信号是xi的概率。由于传输信号的信道中存在干扰和噪声等原因，yj与xi可能相同，也可能不同，这里存在不确定性。信息源x的这种不确定性，用熵 表示。它称为在收到信号条件下信源的熵。其平均值 称为收到信号后信息源的条件熵。 性质1 H(xy)=H(x)+H(y/x) 性质2 H(x/y)是非负的。当对j=1~n有P(yi)0 时，则当且仅当H(x/yi)=0(j=1~n)时， H(x/y)=0成立，且H(x/y)=H(y) 性质3 H(x/y) ≤ H(x) 例1 假设某电报系统里一类消息发送12个信号，其中6个M为6个空号S，即P(M)=P(S)= 。在传输时，使 的M收成空号S，有半数的空号收成M。求收信者收到一个消息后所获得的平均信息量。 解：根据题意， 发送一个消息：M M M M M M S S S S S S 收到的信息为：M M M M M S S S S M M M P（发M）= ，P（发S）= P(收M/发M）= ，P（收S/发M）= P(收M/发S）= ，P（收S/发S）= P（收M）= P（发M） P(收M/发M）+ P（发S） P(收M/发S）= P（收S）=P（发M） P(收S/发M）+ P（发S） P(收S/发S）= P（发M/收M）=P（发M） P（收M/发M）／ P（收M） = P（发S/收M）=P（发S ） P（收M/发S ）／ P（收M） = P（发M/收S ）=P（发M） P（收S /发M）／ P（收S ） = P（发S/收S ）=1- P（发M/收S ）= H(y)= H(y/发M)= H(y/发S)=0.301 H（y/x)= I(xy)=H(y)- H（y/x)=0.02805Hart 另一方面 H(x)= H(x/收M)= H(x/收S)= I（yx)=H(x)-H(x/y)=0.02806Hart 于是验证了 I（xy)= I（yx) 连续型分布的熵 设信息源x和y发送信号x和y具有连续分布的密度函数P(x)和P(y)，联合密度函数为f(x,y)，则熵值 分别称为信息源和的信息熵。它们表示其不确定性—信息量。相应的联合熵为 条件熵为 他们具有如下性质： （1）当x在有限集合S中均匀分布时的熵最大。 （2）对于密度函数P(x)，当x≤0时等于0，且均值为a，则指数分布 P(x)= 达到最大熵为 （3）当一维密度函数P(x)是方差为 的正态分布时的熵最大，最大值达 （4）H(xy)=H(x)+H(y/x)=H(y)+ H(x/y) H(y/x) ≤ H(y), H(xy) ≤ H(x)+ H(y)当且仅当x与y独立时等号成立。 1.2极大熵准则 1.2.1极大熵准则模型 建立如下规划