1、激活函数 ： 神经网络神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。
创新互联建站长期为近千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为昭阳企业提供专业的成都网站设计、网站建设，昭阳网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。
2、Swish 函数是一种自门控激活函数，其定义如下： 其中， 为 Logistic 函数， 为可学习的参数（或一个固定的超参数）。
3、非线性激活函数能够使神经网络逼近任意复杂的函数。如果没有激活函数引入的非线性，多层神经网络就相当于单层的神经网络 sigmoid 梯度消失：sigmoid函数在0和1附近是平坦的。也就是说，sigmoid的梯度在0和1附近为0。
1、常见激活函数及其导数：【注】Sigmoid 型函数是指一类 S 型曲线函数，为两端饱和函数。常用的 Sigmoid 型函数有Logistic函数和Tanh函数。
2、激活函数（activation functions）的目标是，将神经网络非线性化。激活函数是连续的（continuous），且可导的（differential）。常见的激活函数：sigmoid，tanh，relu。
3、非线性激活函数能够使神经网络逼近任意复杂的函数。如果没有激活函数引入的非线性，多层神经网络就相当于单层的神经网络 sigmoid 梯度消失：sigmoid函数在0和1附近是平坦的。也就是说，sigmoid的梯度在0和1附近为0。
4、每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。
1、Swish 函数是一种自门控激活函数，其定义如下： 其中， 为 Logistic 函数， 为可学习的参数（或一个固定的超参数）。
2、Swish函数可以看做是介于线性函数与ReLU函数之间的平滑函数。缺点：运算复杂，速度较慢。Mish Mish与Swish激活函数类似，Mish具备无上界有下界、平滑、非单调的特性。Mish在深层模型上的效果优于 ReLU。
3、对于现代的深度学习神经网络，默认的激活函数是ReLU激活函数 。 ReLU 可以用于大多数类型的神经网络， 它通常作为多层感知机神经网络和卷积神经网络的激活函数 ，并且也得到了许多论文的证实。
4、常见的激活函数：sigmoid，tanh，relu。sigmoid sigmoid是平滑（smoothened）的阶梯函数（step function），可导（differentiable）。sigmoid可以将任何值转换为0~1概率，用于二分类。细节可以 参考 。
