激活函数(ReLU、sigmoid、tanh)的简单理解

ReLU函数

ReLU(rectified linear unit)函数提供了⼀个很简单的⾮线性变换。给定元素 ,该函数定义为:
在这里插入图片描述
可以看出,ReLU函数只保留正数元素,并将负数元素清零。函数图像如下图:
在这里插入图片描述
显然,当输⼊为负数时,ReLU函数的导数为0;当输⼊为正数时,ReLU函数的导数为1。尽管输⼊为0 时ReLU函数不可导,但是我们可以取此处的导数为0。绘制ReLU函数的导数图像:
在这里插入图片描述

sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间,函数定义:
在这里插入图片描述
sigmoid函数在早期的神经⽹络中较为普遍,但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换:
在这里插入图片描述
对应的导数图像:
在这里插入图片描述

tanh函数

tanh(双曲正切)函数可以将元素的值变换到-1和1之间:
在这里插入图片描述
对应的函数图像:
在这里插入图片描述
当输⼊接近0时,tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像,但tanh函数在坐标系的原点上对称。
当输⼊为0时,tanh函数的导数达到最⼤值1;当输⼊越偏离0时,tanh
函数的导数越接近0。对应的图像:
在这里插入图片描述

作者:qq_41621342

相关推荐

js防抖函数和节流函数使用场景和实现区别示例分析

js防抖函数和节流函数使用场景和实现区别示例分析

js函数柯里化的方法和作用实例分析

js函数柯里化的方法和作用实例分析

JS async 函数的含义和用法实例总结

微信公众号中的JSSDK接入及invalid signature等常见错误问题分析(全面解析)