pytorch中反向传播的loss.backward（retain-graph=True）报错.pdfVIP

pytorch中中反反向向传传播播的的loss.backward（（retain_graph=True））报报错错

RNN和LSTM模型中的反向传播⽅法，在loss.backward()处的问题，

更新完pytorch版本后容易出现问题。

问题1.⽤loss.backward()报错

Tryingtobackwardthroughthegraphasecondtime(ordirectlyaccesssaedtensorsaftertheyhaealreadybeenfreed).Saed

intermediatealuesofthegrapharefreedwhenyoucall.backward()orautograd.grad().Specifyretain_graph=Trueifyouneedto

backwardthroughthegraphasecondtimeorifyouneedtoaccesssaedtensorsaftercallingbackward.

(torchen)star@lab407-1:~/POIRec/STPRec/Flashback_code-master$pythontrain.py

问题2.⽤loss.backward(retain_graph=True)

oneoftheariablesneededforgradientcomputationhasbeenmodifiedbyaninplaceoperation:[torch.FloatTensor[10,10]],whichis

output0ofAsStridedBackward0,isatersion2;expectedersion1instead.Hint:enableanomalydetectiontofindtheoperationthatfailed

tocomputeitsgradient,withtorch.autograd.set_detect_anomaly(True).

解决措施：

关于loss.backward()以及其参数retain_graph的⼀些坑

⾸先，loss.backward()这个函数很简单，就是计算与图中叶⼦结点有关的当前张量的梯度

⽤呢，当然可以直接如下⽤

optimizer.zero_grad()清空过往梯度；

loss.backward()反向传播，计算当前梯度；

optimizer.step()根据梯度更新⽹络参数

or这种情况

foriinrange(num):

loss+=Loss(input,target)

optimizer.zero_grad()清空过往梯度；

loss.backward()反向传播，计算当前梯度；

optimizer.step()根据梯度更新⽹络参数

但是，有些时候会出现这样的错误：RuntimeError:Tryingtobackwardthroughthegraphasecondtime,butthebuffershaealreadybeen

freed

这个错误的意思就是，Pytorch的机制是每次调⽤.backward()都会free掉所有buffers，模型中可能有多次backward()，⽽前⼀次backward()存

储在buffer中的梯度，会因为后⼀次调⽤backward()被free掉，因此，这⾥需要⽤到retain_graph=True这个参数

⽤这个参数，可以让前⼀次的backward()的梯度保存在buffer内，直到更新完成，但是要注意，如果你是这样写的：

optimizer.zero_grad()清空过往梯度；

loss1.backward(retain_graph=True)反向传播，计算当前梯度；

loss2.backward(retain_graph=True)反向传播，计算当前梯度；

optimizer.step()根据梯度更新⽹络参数

那么你可能会出现内存溢出的情况，并且，每⼀次迭代会⽐上⼀次更慢，越往后越慢（因为你的梯度都保存了，没有free）

解决的⽅法，当然是这样：

optimizer.zero_grad()清空过往梯度；

loss1.backward(retain_gra