关于深度学习 这可能是你最容易读进去的科普贴了（六）

本篇文章1165字，读完约3分钟

编者按:本文作者王川是一位投资者，中国科技大学三年级的校友，现居美国加州硅谷，个人微博9935070，微博@硅谷王川。36氪星被授权从其个人微信公众账户investguru复制。请在此查看这一系列文章。

一，

计算速度和数据规模的大幅提高也带来了更多的算法改进。

在网络架构上，一些算法更多地借鉴了人脑认知的成功经验:提高效率，减少无用的工作。多闭上眼睛，少说话。多注意主要矛盾，少注意细节。

2003年，纽约大学神经科学中心的彼得·伦尼在他的论文中指出，人脑中的神经元通常高达1-4%，可以同时被激活。当比率较高时，大脑不能提供相应的能量需求。

在神经网络模型中，通过所谓的激活函数，根据上层的神经元输入值计算输出值。

最典型的传统激励函数sigmoid函数的输出值介于0和1之间，这意味着神经元平均一直使用一半的功率。

这种高强度的能源需求对于普通生物来说是不可持续的。

一个有趣的类比是鳄鱼。现实生活中的鳄鱼与动物世界纪录片中跳跃和凶猛捕食的形象截然不同。

鳄鱼90%的时间是不动的(一个近距离的观察者经常把它们误认为石雕)，剩下的5%用于求爱和交配，5%用于觅食。

鳄鱼的绿色生活方式和低能耗使它成为两栖动物中寿命最长的。尽管野生鳄鱼的平均寿命缺乏严格科学的统计，但有相当多的鳄鱼在被捕获后被人工饲养，记录的寿命超过70年。

第二，

2011年，加拿大蒙特利尔大学的学者xavier glorot和yoshua bengio发表了一篇题为《深度稀疏整流神经网络》的论文。一种深度稀疏的改进神经网络。

本文在算法中使用了一个称为“校正线性单元”(relu)的激励函数。它可以用数学公式表示:整流器(x) =最大值(0，x)。

对于relu，如果输入为负，则输出为零。否则，输入和输出相等。

换句话说，对于一个特定的输入，从统计学上来说，一半的神经元是无反应和沉默的。

使用具有三个隐藏层的Relu神经网络模型来测试四个不同的经典图像识别问题。与使用其他激励函数的模型相比，relu不仅具有较低的识别错误率，而且对神经网络是否经过“预训练”也不敏感。

relu的优势包括以下三点:

在传统的激励函数中，计算采用指数函数或三角函数，计算量至少比简单激励函数高两个数量级。

relu的导数是常数，非零表示1，因此在反向传播计算中不存在传统激励函数的“梯度消失问题”。

据统计，大约一半的神经元在计算过程中输出零，所以relu模型更有效，所谓的“稀疏表示”自然形成。通过少量的神经元，抽象和复杂的概念可以被有效、灵活和稳定地表达。

(待续)

原创文章，作者:zhangq365，如果转载，请注明出处:http://36kr/p/5044543

“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”