本站原创文章,转载请说明来自《老饼讲解-深度学习》www.bbbdata.com
tanh函数是神经网络中常中用S型激活函数,它具有局部非线性等特点
本文全面介绍tanh函数的公式、图像以及导数、导数的推导等相关内容
本节介绍tanh函数的数学表达式及其相关推导
tanh函数的数学表达式
tanh函数称为双曲正切函数,tanh函数的数学表达式如下
👉备注:tanh就是matlab中的tansig激活函数
tanh函数的两种形式推导
tanh有两种形式
两种形式的相互推导如下
本节介绍tanh函数的图像,并从图像中直接了当地观察tanh函数的特性
tanh函数的图象
tanh的函数图像如下:
✍️补充: tanh函数特性
可以知道,当tanh自变量为一维时,它是一条S形曲线
● 它的取值区间为 (-1,1)
● tansig非线性部分主要集中在【-1.7,1.7】之间,
● 在【-1.7,1.7】外,tanh逐渐趋向饱和。
相对地,在二维时,tanh就是一个S形曲面,更高维时,就是S形超曲面
本节讲述tanh函数的导数公式、图像及其推导过程
tanh函数的导数及导数图像
tanh的导数为
✍️tanh的导数可以用自身表示,这是一个非常重要的属性,给导数计算提供了便利
tanh的导数图象如下
tanh的导数公式推导过程
tanh求导过程推导如下:
又 :
即有:
✍️PASS:所以,tanh只需要算出自身的平方值,再1-即可以得到导数值
tanh函数及tanh的导数就介绍到这里了~
End