神经网络如果不使用激活函数进行非线性变化，乘以再多的矩阵，合并同类项之后也还是相当于乘以了一个矩阵。所以做再多的线性变换，最后还是相当于只做了一个线性变换。

而且只做线性变换处理不了非线性问题。

激活函数就是把每层的输出非线性化一下。在区分平面上三角和圆形的问题中，他们的界限明显是非线性的。加上激活函数之后能不能搞出准确的非线性分界线？不清楚，但至少有戏。而且多加几层，在cost function的作用下，总会让当前模型最大限度贴合的。

https://zhuanlan.zhihu.com/p/25279356