关于深度学习 这可能是你最容易读进去的科普贴了（五）

本篇文章1535字，读完约4分钟

编者按:本文作者王川是一位投资者，中国科技大学三年级的校友，现居美国加州硅谷，个人微博9935070，微博@硅谷王川。36氪星被授权从其个人微信公众账户investguru复制。请在此查看这一系列文章。

一，

主流学术界的大多数研究者注重算法的逐步完善，而忽略了计算速度和数据规模对训练的重要性。

早在2000多年前，孔丘先生就有远见地指出了深学的方向:“学而不思则罔，思而不学则殆。”

用深度学习的语言来说，就是“如果有大数据，但速度不快，它仍然是混乱的；光的速度很快，但如果没有大量的数据来训练，你仍然会感到疲劳，一无所获。”。

2007年之前，用gpu编程缺乏简单的软件接口。编程很繁琐，捕捉昆虫也很困难。这在2007年英伟达推出cuda的gpu软件接口后得到了真正的改善。

2009年6月，rajat raina和斯坦福大学的吴恩达联合发表了一篇题为“使用图形处理器的大规模深度无监督学习”的论文。

论文模型中的参数总数(即每层不同神经元之间的链接总数)达到了1亿，而韩丁在2006年的论文中使用的参数只有170万。

论文结果表明，gpu的运行速度比传统双核cpu快近70倍。在一个四层和一亿参数的信任网络中，gpu被用来将程序的运行时间从几周减少到一天。

第二，

2010年，瑞士学者丹·西瑞森和他的合作者发表了一篇论文，“深度、大而简单的神经网络在手写数字识别中表现良好。”(“深大简单神经网络在手写数字识别方面表现出色”)

本文仍采用80年代的反向传播计算方法，但计算转移到nivida gtx280 gpu。在反向传播计算中，速度比传统的cpu快40倍。

另一个关键点是:

通过旋转、放大和缩小、弹性变形等手段，有意识地改变训练神经网络的图像。这样，用于训练的图像数量大大增加。使用gpu后，改变60，000个训练图像的计算速度从93秒降低到9秒，快了十倍。通过计算变形实现的图像相当于无限数量的训练数据库。

结果表明，一个1200万参数的六层神经网络模型经过两个小时的训练，测试图像的错误率下降到1%。经过114小时的训练，模型的测试误差率降低到0.35%。

第三，

2012年，斯坦福大学的研究生quoc viet le领导了一篇由他的导师吴恩达和许多谷歌科学家联合发表的论文，“利用大规模无监督学习构建高级特征。”

在李月国的文章中，使用了九层神经网络，网络参数高达十亿，是2010年Ciresan论文的100倍，2009年raina论文的10倍。

作为参考，根据丹麦学者bente pakkenberg 2003的估计，人类大脑新皮层中有近150万亿个突触(synapse，连接神经元传递信号的结构)，是李模型参数数的10万倍。

用来训练神经网络的图像都是从谷歌视频网站youtube上获取的。有1000万个原始视频，每个视频只拍摄一张图片，每张图片有40000个像素。相比之下，以前论文中使用的大多数训练图像的原始图像少于100，000，像素少于1，000。

李越的计算模型以分布式方式在1000台机器(每台机器有16个cpu内核)上运行，花了三天三夜完成了培训。

经过训练的神经网络，在一个名为imagenet的共享图像数据库中，面向22000个不同类别和1400万幅图像，分类识别正确率达到15.8%。但在此之前，发表的最佳模型，准确率仅为9.3%。

深度学习的研究进展正在加速，但要说服更多主流人工智能研究者的加入，我们需要更多的、直接可比的、领先的、无可辩驳的计算结果。

(待续)

这篇文章由读者提交，并不代表36英寸的立场。如果转载，请注明出处

“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”