Pych深度学习入门与实战框架.pdfVIP

APP

开篇词|如何高效PyTorch？

2021-10-11

《PyTorch深度学习实战》课程介绍

讲述：

时长10:45大小9.86M

你好，我是欢迎你跟我一起学习PyTorch。

先做个自我介绍吧！我曾先后供职于和腾讯两家公司，任职高级算法研究员，目前在

一家国际知名互联网公司Line担任数据科学家，从事计算机视觉与自然语言处理相

关的研发工作，每天为千万级别的流量深度学习服务。

想，我进入机器学习与深度学习的研究和应用领域已经有10年的时间了，这是个很有

意思的过程。在快速发展的背景下，各种各样的深度学习框架层出不穷，有有当当下

的主流，也有如今的新秀。

为什么我会这么说呢？这其实可以追溯到我的时期。最早，把PyTorch，打

上了一个新秀的，记得那时候，深度学习的浪潮才刚刚兴起，传统的机器学习开始转

到深度学习，但是我们能选的框架却十分有限。

当时在学术界流行的一个深度学习框架是Theano，可能有的同学都没有听它。这个

框架就像是祖师爷般的存在，从2008年诞生的很长一段时间中，它都是深度学习开

发和研究的。

为了复现中的算法，我开始学习Theano。接触，我发现它的式编程，无论

是风格还是逻辑都十分奇特。而且那时候的学习资料很匮乏，只能啃的说明文档。如

此一来，我觉得Theano十分晦涩难学，门槛非常高。

后来，我去到了互联网大厂的部门工作。那时学术界已经涌现出了很多深度学习方面

的研究，而工业界才刚刚开始将深度学习技术落地。的TensorFlow框架于2015

年正式开源，而我们的团队也开始着手把深度学习技术应用于文本处理等方向。

2017年，发布了TensorFlow1.0版本，到了2019年，又发布了2.0新版本。

TensorFlow1.x版本时期，TensorFlow框架拥有大量的用户。不过，问题也非常明显，主

要的弊端就是框架环境配置不兼容，新老版本函数差异也很大，且编程。

但凡涉及版本更新，总会出现API变化，前后版本不兼容的问题。并且当我阅读别人代码

的时候，TensorFlow1.x的可读性也不是很高。这些问题都增加了我的学习成本。直到

TensorFlow2.x版本，TensorFlow逐渐借鉴了PyTorch的优点，进行了自我完善。

而与TensorFlow同一时期横空出世，也拥有众多用户的一个深度学习框架还有Keras。

Keras的API对用户十分友好，使用起来很容易上手。如果有什么想法需要快速实验，看

一看效果，那Keras绝对是不二的选择。

但是，高度模块化的封装也同样会带来弊端，看起来学习Keras似乎十分容易，但我很快

就遇到了瓶颈。高度封装就意味着不够灵活，比如说如果需要修改一些网络底层的结构，

Keras所的接口就没有支持。在使用Keras的大多数时间里，我们主要都停留在调用接

口这个阶段，很难真正学习到深度学习的内容。

直到PyTorch出现，随着使用它的人越来越多，其技术迭代速度跟生态发展速度都很迅

猛。如果你在找到了一个PyTorch项目相关的开源代码，我们可以很容易移植到

自己的项目中来，直接站在巨人的肩膀上看世界。

而且相比前面那些主流框架，PyTorch有着对用户友好令式编程风格。PyTorch设计

得更科学，无需像TensorFlow那样，要