第583章 激活函数（第4页）

激活函数

比喻

适用场景

优点

问题

恒等函数（identity）

老张不筛选，所有人都能进

线性回归

简单直接

不能处理复杂问题

re露

老张只让正式员工进，其他人全拒

深度学习、cnn

计算简单，效率高

负数全部变

0，信息可能丢失

sigid

老张给每个人打分，决定能不能进

二分类问题（垃圾邮件分类）

平滑过渡，输出

0-1

概率

容易梯度消失

softmax

老张不但决定谁进，还要分部门

多分类问题（图像识别）

适合多分类问题

计算比

re露

复杂

结论：激活函数=智能筛选机制

?

激活函数的作用就像门卫老张，决定哪些信息能进入下一层，哪些要被拒绝。

?

不同的激活函数适用于不同的任务，re露、sigid、softmax

各有千秋。

?

深度学习的关键就是如何聪明地使用这些筛选机制，让神经网络学得更快、更准确！

你更喜欢哪个“门卫策略”

呢？如果你是老张，你会怎么设计你的筛选规则？

本章未完，点击下一页继续阅读