非线性激活函数（如 ReLU、Sigmoid、Tanh）能够突破线性干系，使神经网络能够进修复纯的非线性形式。正在 Sigmoid 或 Tanh 激活函数中，当输入值较大或较小时，梯度会趋近于零，招致梯度消失问题。ReLU 的计较很是简略，只须要比较和与最大值收配，计较速度远快于 Sigmoid 和 Tanh。ReLU 的梯度正在正区间恒为 1，防行了梯度消失问题，使得深层网络的训练愈加不乱。将 Leaky ReLU 的斜率 α 做为可进修参数，动态调解负区间的输出。此中 α 是一个小的正数（如 0.01）。
