机器学习nando de freitas练习表.pdfVIP

机器学习NandodeFreitas2015年2月19日练习表31

logistic回归的梯度和黑森

1.let（a）=1

1+e是sigmoid函数。

d（a）da=（a）（1（a）（1）

2.使用先前的结果和微积分的链条规则，得出一个表达式在讲座中讨论的逻辑回归的对数可能性的梯度（也出现

在凯文书的第8.3.1节中）。

3.Hessian可以写入H=XTSX，其中S：=Diag（1（11），。，n（1）。

证明H是积极的。（您可以假设0i1，所以S的元素严格是积极的，X是完整的。）

2

多项式logis-的梯度和黑森回归

1.请阅读有关多类逻辑回归的KevinMurphy教科书部分（部分

8.3.7在我的版本中）。

2.letik=p（yi=k|xi，w）=s（i）

kj=ik（kjj）（2）其中kj=i（k=j）.3.因此，c=i（yicc）xi（3）

提示：使用链条规则和事实

cyic=1。

4.表明C和C类Hessian的块子块由

HC，C=IIC（C，C，C）XIXTI（4）第1页机器学习NandodeFreitas2015年2月19日3神经网和XorGate

s

表明，如果隐藏单元的激活函数是线性的，则为3层（1个输入层x，1

隐藏的层H和1输出层y）网络等效于2层。

解释为什么具有线性隐藏单元的三层网络无法解决非线性可分离

Xor.4

研究问题：纠正的线性单位和辍学为什么在卷积神经中比sigmoid神经元更可取的relu或maxout单位网络？

在上下文深度学习。它如何与重量衰减相互作用？

第2页