神经网络与深度学习试题+答案.docVIP

误差修正学习，基于记忆的学习，boltzmann学习和Hebb学习的原理的特点（10分） 答：误差修正学习：根植于最优滤波（P34-35）；基于记忆的学习：通过明确地记住训练数据来进行（P35-36）；boltzmann学习：建立在统计学力学的思想基础上（P40-41）；Hebb学习：受神经生物学的启发（P37-38）。 离散状态信息I(xk)，熵H(X)，条件熵H(X|Y)，联合熵H(X,Y)和互信息I(X;Y)定义和物理意义（15分） 答：离散状态信息I(xk)：具有概率的事件所获得的信息增益量为对数函数 ，其中对数函数的底是任意的。信息量也是一个具有概率的离散随机变量。 熵H(X)：在全部2K+1个离散数值上的平均值定义为，量叫做一个可取有限离散值的随机变量X的熵。熵表示每一个消息所携带的信息的平均量。 条件熵H(X|Y)：给定Y时X的条件熵为H(X|Y)=H(X,Y)—H(Y)，具有性质：0=H(X|Y)=H(X)， 条件熵H(X|Y)表示在观测到系统输出Y后，对X保留的不确定性度量。 联合熵H(X,Y)：H(X,Y)是X和Y的联合熵，由 定义，其中，p(x,y)是离散随机变量X和Y的联合概率质量函数，而x和y表示它们各自的字母表。 互信息：I(X;Y)=H(X)—H(X|Y)= 熵是互信息的一个特例。 熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵