本站原创文章，转载请说明来自《老饼讲解-深度学习》www.bbbdata.com
ReLu函数是深度学习中最常用的激活函数，它在大于0时为自身，小于0时等于0
本文讲解ReLu函数的表达式、图像，以及ReLu函数的导数、导数图像，并进一步展示它的优势
通过本文，可以快速了解ReLu函数是什么，包括ReLu的特点、图像、导数、作为激活函数的优势等等
本节介绍ReLu函数的表达式、图像以及ReLu的导数
ReLu激活函数
ReLu函数是深度学习中最常用的激活函数，它可以缓解梯度消失、梯度爆炸问题
ReLu激活函数的公式如下：
或者：
ReLu函数的图象如下：
可以看到，ReLu函数在时为0，在时为自身
这个特性对应的生物思想就是，让神经元要么干活，要么不干活，也就是让神经元稀疏化
相比于传统的S型函数，ReLU函数的计算简单高效，它不涉及复杂的指数运算，计算速度更快
ReLu激活函数的导数
ReLu激活函数的导数是分段函数，且非连续函数
ReLu激活函数的导数如下：
ReLu函数的导数图象如下：
可以看到，ReLu的导数只有两个值：0和1(在负轴为0，在正轴为1)
因此，ReLu函数的导数(梯度)非常稳定，这种稳定性可以有效避免梯度消失问题
没有很严谨的理论证明ReLu函数为什么能大大改善梯度爆炸/消失问题
但自从把前馈神经网络的激活函数从S型函数改为ReLu后，深层网络的训练效果就是好很多
因此在深度学习中，基本都是使用ReLu函数作为激活函数，主要原因就是"它在实践中的效果就是有效"
好了，以上就是深度学习中的ReLu激活函数的表达式、图像与导数了~
End
