Facebook 田渊栋：快速迭代的人工智能

本篇文章2290字，读完约6分钟

雷锋。脸书人工智能实验室研究员田元东。

最初，我们这个领域的步伐很快，因为期刊论文的内容比较落后，大家都读会议论文，一年开两三次会，半年一个研究周期。

然而，因为这是一个双盲审查，即使有其他人做类似的事情给自己，他们不知道什么时候提交手稿，所以这是一个大不了的同时出版手稿。arxiv的出现使得任何人都可以在网上发表自己的作品，这样同行就可以立即看到，这使得这个领域的竞争更加激烈。一个常规的课程是每周甚至每天刷一次arxiv，看看是否有好文章，更重要的是，看看是否有与你目前正在做的工作相一致的工作。每当有一个新的想法，就必须马上完成，如果拖上一两个月，它就不再是你的了，因为别人已经抢先了一步，你不能因为直接发表一篇文章就被打死。以前的电脑围棋血腥地显示了这一点。一切都发生在几个月内。我们让其他同事变得抑郁，然后阿尔法戈让我们变得抑郁。昨天，它仍然受到许多明星的欢迎，但今天它不流行了。虽然世界是暗淡的，但这只是人的本性。

程序和框架的开源也强化了这个过程。原来复制别人的方法不仅痛苦而且耗时，但是现在它已经可以使用了，而且成本为零。然而，保持领先优势和隐藏自己的诡计是没有意义的。一年之内发表了如此多的文章，以至于无论谁不开放源代码或者以后不开放源代码都会被遗忘在历史的角落里。去年，nips的每个人都在谈论resnet。我们小组在resnet发布后的24小时内完成了程序的编写，并开始在imagenet上进行培训，并很快证实了它的效果。Tensorflow刚刚开始开放源代码，团队的骨干正忙着在凌晨3: 30完成评估。大多数人说他们做得很好，但是没有发布程序，除非他们使用大量的硬件资源，比如alphago，否则他们会被别人评判，而且速度非常快。有一次，一个arxiv报告了cifar更好的结果，这立即在reddit上被质疑，然后代码被公开。人们发现在测试集的训练中有一个低级错误，手稿不得不被收回。

随后，会议的口味发生了变化。会议的初衷是欣赏最新的进展，但现在去参加会议是怀旧的。眼睛里满是六个月前和一年前的旧物，回去的时候有一种视觉和莫名的快乐。人们通常不是在谈论他们力所不及的演讲或海报，而是刚刚在arxiv上出现的新作品。这个“公正”可能指的是上周、昨天或几个小时前，他们只是对微小的成就沾沾自喜。转眼间，他们就像一桶冰水倾泻而下，他们心烦意乱，晚上无法入睡，也无法进食。与其他方向的半年度评审周期相比，迭代速度和更新速度都是前所未有的。有时候，我想，除了从饥饿、肥胖和春梦中醒来之外，我还需要和arxiv一起醒来，梦见我的上帝的思想已经被别人完成了，或者梦见在提交手稿的前几天，我突然汗流浃背地醒来，然后擦擦脸。感谢上帝。

在这样的压力下，人们的思维方式也发生了变化。到目前为止，我们还没有对深度学习的本质有一个深刻的理解，很多研究思路都是简单而粗鲁的。如今，有了丰富的计算资源，对其质量的主观判断往往远不如为计算机实验编写代码那样快速和准确。不管许多想法是对是错，不管它们看起来有多荒谬，首先尝试它们，它们通常比他们想象的要快，也比他们想象的要快。就像每天刷手机一样，无法判断这种思维方式的改变是好是坏。这种方法可分为急功近利和急功近利，与传统的学术实践背道而驰。然而，与语言和呼吸之间的争论相比，这一方案仍在产生效果，促进了技术的进步，并形成了一个更好的系统。我们可以抱怨谷歌有太多的机器和太多的参数，同时准备了大量的图形处理器带着雄心去战场。无论如何，用一个人和一张纸来解决问题是令人钦佩的，但却是低效的；让计算机参与推理过程和判断，这最终将成为每个人的必修课。

从这个趋势来看，那些能够快速使用各种工具来实现目标，快速读写代码，并且有很强工程能力的人在就业市场上有很大的优势；如果有坚实的基础，你可以快速阅读文章，从中获得新的知识，并从别人那里得出推论。你很有经验，你可以抓住关键点和难点，从众多的想法中整理出你的想法。那是一只老手；在下一个层面上，有了战略眼光，我们可以从上千篇文章中看到大趋势和大视野，巧妙地设定主题，以最低的成本获得最大的效益，也就是说，成为第一流的大师，能够站在最前沿，直接推动这个领域的发展。然而，要达到这一步，有必要冷静下来，在如此快速的迭代中积累经验，它将在很长时间后生效。

在人工智能流行的背后，你花了很多天来战斗。在这个高大的空房间里，刺刀很受欢迎。虽然又累又苦，但它是这个领域的吸引力和希望。与痛苦和疲惫相比，更可怕的是，当你感到舒适和惬意的时候，你会因为过时的技能而被解雇，在天地之间徘徊，无处可去。我无法想象那种绝望，所以让我们跟上时代。至少我们可以看到技术发展的轨迹，并为之做出贡献。在这个领域，只要工具使用得当，思维聪明，每个人都有潜力成为超人。一个好的算法和框架可以为成千上万的人服务，一天24小时工作而不出错和疲劳，这在过去是完全不可想象的。俗话说:

宫铃娴熟的技巧正在慢慢积累，并迅速发展到现在；

没想到，石英砂比周郎的几百万士兵都强。

雷锋。搜索“雷锋”。作者开始了他的智湖专栏:远东轶事。请联系授权并保留完整信息，不要修改文章。

此外，今年8月，雷锋。在空.盛会召开之前，com将举办一场具有全球影响力的人工智能和机器人创新大会那时，雷锋。搜索“雷锋”。将发布“人工智能与机器人创新企业25强”名单。目前，我们正在走访人工智能和机器人领域的相关公司，筛选最终入选的公司名单。如果您想加入我们的名单，请联系:2020@leiphone。

[推广]云计算市场改变者鸟云全系列产品0元/半年免费收集