深度学习笔记_各种激活函数总结对比

目录

激活函数示意图 f

六种激活函数

1 Sigmoid

2 tanh(x)

3 Relu

4 Leaky ReLU

5 ELU

6 Maxout

实践经验

激活函数示意图 f

六种激活函数

1 Sigmoid

2 tanh(x)

3 Relu

4 Leaky ReLU

5 ELU

6 Maxout

实践经验

• 可以多使用 ReLU. 注意你的学习率，对结果的影响很大
• 可以使用 Leaky ReLU / Maxout / ELU
• 可以尝试使用 tanh 但是不要期望太高
• 不要使用 sigmoid， 实践证明不好用