神经网络考试重点.doc

神经网络考试重点 熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L散度的定义（K-L极小等于极大似然估计）。第十章 答：熵H(X)：表示每一个消息所携带的信息的平均量。在H(X)中X不是H(X)的变量，而是一个随机变量的标记。 条件熵：给定Y时X的条件熵为H(X|Y)=H(X,Y)—H(Y) 具有性质：0=H(X|Y)=H(X) 条件熵H(X|Y)表示在观测到系统输出Y后，对X保留的不确定性度量。 H(X,Y)是X和Y的联合熵，由 定义，其中，p(x,y)是离散随机变量X和Y的联合概率质量函数，而x和y表示它们各自的字母表。 互信息：I(X;Y)=H(X)—H(X|Y)= 熵是互信息的一个特例。 熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵H(X|Y)表示在观测到系统输出后对系统的不确定性，差H(X)—H(X|Y)表示观察到系统输出之后我们对系统输入的不确定性的减少。 信息的属性： （1）X和Y的互信息具有对称性：I(X;Y)=I(Y;X) （2）X和Y的互信息总是非负的： （3）X和Y的互信息也可以用Y的熵表示为：I(X;Y)=H(Y)—H(Y|X) 定义和的K-L散度为： I(X;Y)= 总的来说，X和Y之间的互信息等于联合概率密度函数以及概率密度函数和的乘积的K-L散度。 ICA原理，推导过程、数学模型、降维。简述P