MIT在读博士心得：如何找到适合自己的科研之路.docVIP

MIT在读博士心得：如何找到适合自己的科研之路 　　 　　AI 研究这么火热，为什么我却只能面对满天的公式不知所云？书海茫茫，这么多领域，我该从哪里开始，又该学些什么？那些大佬读本科的时候，论文就可以发顶会，为什么我现在都读了一年硕士/博士了，连个科研的边都没摸到？我怎么才能找到适合自己的科研之路？不用担心，哪怕是 MIT 的博士也会和你有过同样的心路历程。 　　入门 　　找一个合适的人问“笨问题” 　　我最开始做研究的时候常常不敢向同事们请教，害怕提的问题听起来太不专业，被他们看不起。这种情况一直持续了好几个月才有所缓解，但我依然非常谨慎，生怕漏了怯。不过现在我已经有了几个知心伙伴，可以直接和他们讨论问题。真希望我可以早一点认识他们！ 　　以前我碰到问题都是直接 Google，满屏幕的链接和资料常常让我十分迷茫；但现在每当我碰到问题的时候，我就可以直接提出来和大家讨论，而不是自己一个人闷头解决。 　　在不同的地方寻找研究灵感 　　决定自己下一步要做什么可能常常是很多人科研生涯中最困难的一部分。我这里有几个科研人员常用的策略： 　　与不同研究领域的人交流。多询问他们感兴趣的问题，并试着用计算机领域的专业术语来重述这些问题。多询问他们有没有想要分析但是用现有技术难以解决的数据集。机器学习中最有影响力的工作很多来自于计算机与生物/化学/物理学、社会科学或纯数学之间的碰撞。例如 Matthew Johnson 等人在 NIPS 2016 上发表的论文（Composing graphical models with neural networksfor structured representations and fast inference ），就是受一个小鼠行为数据集启发的结果；再比如 Justin Gilmer 等人在 ICML 2017 会议上的论文（Neural Message Passing for Quantum Chemistry），该工作将机器学习方法应用在了量子化学的研究中。 　　编写一份简单的 baseline 代码来感受这个问题。例如，尝试编写一些控制倒立摆的代码，并进行仔细地校准，或者试试看能不能在自然语言数据集上实现一个词袋模型。编写 baseline 时，我常常遇到一些出乎意料的情况——心智模型（mental model）或代码中存在错误。就算我的 baseline 代码可以运行了，我通常还会尝试一些其他的想法，以此对问题有更深的理解。 　　扩展你喜欢的论文的实验部分。仔细阅读那些论文的方法和结果。尝试找到其中最有价值的部分。首先我们可以考虑一些最简单的扩展，问问自己：论文中的方法是否适用。然后可以考虑一下文章没有讨论过的 baseline 方法，并想一下这些方法可能会在哪里失败。 　　掌握可视化工具和技能 　　在写代码时，我通常采用的策略是先从创建可视化脚本开始。当写完其他代码后，可视化脚本可以帮助我快速验证代码是否和心智模型相匹配。更重要的是，和其他方法相比，良好的可视化常常可以让我更容易发现思维或代码中的错误。还有一点原因就是自我激励：每当我完成一份代码时，我都可以拿出一份漂亮的图表或视频来向大家炫耀！ 　　当然，针对手头的问题进行正确的可视化可能还需要一些技巧。如果是迭代优化模型（如深度学习），可以先从绘制损失函数曲线开始。此外还有很多技术也可以用来进行（特别是卷积）神经网络的习得权重的可视化以及解释，例如导向反向传播。 　　在强化学习和规划中，需要可视化的事情则显而易见，就是智能体在环境中的行为，比如 Atari 游戏，机器人任务或简单的 Grid World（例如 OpenAI Gym 中的环境）。通过不同的设置，我们还可以将价值函数及其在训练过程中的变化（如下所示）进行可视化，或可视化已遍历的状态树。 　　在处理图模型时，对一维或二维变量在推理时分布的变化进行可视化，可以获得很多的信息（如下所示）。衡量可视化技术有效性的一种方法就是，估计你每次分析可视化时脑海中需要提前掌握的信息量。糟糕的可视化结果会需要你对写过的代码进行详细的回顾，而一个好的可视化结果则会让结论呼之欲出。 　　 　　Tensorboard是一个用于Tensorflow深度学习模型可视化的流行GUI 　　 　　将分布绘制出来作为证据累积，可以使图模型的调试更容易（来自Wikimedia）。 　　 　　通过Q-learning习得的价值函数可以在它所代表的Grid World中可视化（by Andy Zeng）。 　　学会找出研究人员和论文的基本出发点 　　虽然很多研究人员会在相同的会议上发表文章，使用相同的术语，并都声称自己的研究领域是人工智能，但他们研究的出发点（motivations）却很可能截然相反。一些人甚至想为这个