自动微分的基本思想与实现-北京工业大学学报.PDFVIP

第 卷 第 期 北 京 工 业 大 学 学 报 L6R $ +! E6 $ + +! + 年 月 #( ( 3%CDE’F %G HIJ3JEK CEJLIDMJNO %G NIPQE%F%KO S4T #( ############################################################## 自动微分的基本思想与实现 张海斌，薛 毅 （北京工业大学 应用数理学院，北京 !## ） 摘 要：科学计算及其应用常常需要多变量函数的有关偏导数问题的计算，通常使用的计算方法是符号微分或 差分近似$ 对于中大规模问题来说，使用符号微分方法，成本往往非常昂贵，有时甚至不可行，在计算函数的方 向梯度时，利用差分方法虽然可以降低计算成本，但得到的是近似值，而且确定恰当的差分区间也很困难 自动 $ 微分技术能以较低的成本精确计算中大规模问题函数的导数，在科学计算、工程计算及其应用领域中有着广泛 的应用$ 关键词：自动微分；符号微分；差分 中图分类号： 文献标识码： 文章编号： （ ） % ##!# ’ #() * +, #( # * ++# * ( 自动微分是一种微分技术，在给定计算一个多变量光滑函数值的程序代码后，利用自动微分可以实现 有关偏导数的精确计算，例如计算数量值函数的梯度，向量值函数的 矩阵及其与向量的乘积 特 $ 别需要指出的是，当自变量个数较大时，它所需的计算量比通常方法所需的计算量小得多 自动微分技术 $ 是以这样的观察为基础的；任何一个初等函数，都是通过一系列简单基本运算复合而来的$ 这些运算每次 只涉及 个或 个变量，分别称之为单变量运算和双变量运算 单变量运算包括三角函数、指数函数、对 ! # $ 数函数和幂运算等，双变量运算包括加、减、乘、除等 在求函数值时，如果将这些基本运算结果暂时保存 $ 起来，那么在进行有关偏导数的计算时就有可能利用这些中间结果，这样避免了不必要的重复$ 近年来， ［，］ 随着计算机硬件和软件技术的不断提高，这一思想可以自动实现 ! # $ 当自变量个数较大时，利用自动微分计算函数的梯度要比通常方法所需的计算量小得多，科学计算通 ［］ 常需要计算函数的梯度，因此，自动微分可以提高中大型问题科学计算的效率+ $ 有些问题的灵敏度分析