应用熵学教学幻灯片.pptVIP

应用熵学 1 熵学基础 1.1 基本概念 1.1.1熵是物质系统状态的一个函数。用S1和S2分别表示系统在状态1和状态2时的熵函数值，则在可逆过程中系统由状态1变到状态2时熵的增量为 定理1 可逆循环中系统的熵变等于零。 定理2 封闭系统中任何不可逆过程导致熵的 增加，熵只有对可逆过程才是不变的。 1.1.2信息熵 在信息系统中，熵的获得意味着信息的丢失。一个系统有序程度越高，则熵就越小，所含的信息量就越大；反之，无序程度越高，则熵就越大，信息量就越小。信息和熵是互补的，信息就是负熵。 离散型分布的熵 一个随机试验A（随机事件），设它有n个可能的（独立的）结局：a1,a2, …,an,每一结局出现的概率分别是P1,P2, …,Pn它们满足以下条件 0≤Pi ≤1(i=1,2, …,n)及 我们引入函数： Hn=H(P1,P2, …,Pn)=-k 作为随机实验A实验结果不确定性的量度，式K中是一个大于零的恒量，量Hn叫做信息熵. 条件熵： 假设由发出信号x1,x2,…,xm组成了信息源x，其概率空间为P(x)={P(x1) ,P(x2) ,…,P(xm)}。接收信号y