Pych多层感知机反向传播原理精解.pdfVIP

)PyTorch

多层感知机

反向

主讲人:

链式法则

$$

\cdot

\frac

{\partial

E}{\partial

w

_{j

k}

^{1}}

=\frac

{\partial

E}{\partial

O

_{k}

^{1}}

\frac

{\partial

O

_{k}

^{1}}{\partial

x}

=\frac

{\partial

E}{\partial

O

_{k}

^{2}}

\frac

{\partial

O

_{k}

^{2}}{\partial

O

_{k}

^{1}}

\frac

{\partial

O

_{k}

^{1}}{\partial

x}

$$

多输出感知机

$$

\frac

{\partial

E}{\partial

w

_{j

k}}

=\left(O

_{k}

‑

t

_{k}\right)

O

_{k}

\left(1

‑

O

_

{k}\right)

x

_{j}

^{0}

$$

）PyTorch

MLP反向

主讲人：

Chainrule