在神经网络中，激活函数负责将来自节点的加权输入转换为该输入的节点或输出的激活。ReLU 是一个分段线性函数，如果输入为正，它将直接输出，否则，它将输出为零。它已经成为许多类型神经网络的默认激活函数，因为使用它的模型更容易训练，并且通常能够获得更好的性能。在本文中，我们来详细介绍一下ReLU，主要分成以下几个部分：
高淳网站建设公司创新互联,高淳网站设计制作，有大型网站制作公司丰富经验。已为高淳上千多家提供企业网站建设服务。企业网站搭建\外贸网站制作要多少钱，请找那个售后服务好的高淳做网站的公司定做！
1、Sigmoid 和 Tanh 激活函数的局限性
2、ReLU（Rectified Linear Activation Function）
3、如何实现ReLU
4、ReLU的优点
5、使用ReLU的技巧
一个神经网络由层节点组成，并学习将输入的样本映射到输出。对于给定的节点，将输入乘以节点中的权重，并将其相加。此值称为节点的summed activation。然后，经过求和的激活通过一个激活函数转换并定义特定的输出或节点的“activation”。
最简单的激活函数被称为线性激活，其中根本没有应用任何转换。 一个仅由线性激活函数组成的网络很容易训练，但不能学习复杂的映射函数。线性激活函数仍然用于预测一个数量的网络的输出层(例如回归问题)。
非线性激活函数是更好的，因为它们允许节点在数据中学习更复杂的结构 。两个广泛使用的非线性激活函数是 sigmoid 函数和 双曲正切 激活函数。
Sigmoid 激活函数 ，也被称为 Logistic函数神经网络，传统上是一个非常受欢迎的神经网络激活函数。函数的输入被转换成介于0.0和1.0之间的值。大于1.0的输入被转换为值1.0，同样，小于0.0的值被折断为0.0。所有可能的输入函数的形状都是从0到0.5到1.0的 s 形。在很长一段时间里，直到20世纪90年代早期，这是神经网络的默认激活方式。
双曲正切函数 ，简称 tanh，是一个形状类似的非线性激活函数，输出值介于-1.0和1.0之间。在20世纪90年代后期和21世纪初期，由于使用 tanh 函数的模型更容易训练，而且往往具有更好的预测性能，因此 tanh 函数比 Sigmoid激活函数更受青睐。
Sigmoid和 tanh 函数的一个普遍问题是它们值域饱和了 。这意味着，大值突然变为1.0，小值突然变为 -1或0。此外，函数只对其输入中间点周围的变化非常敏感。
无论作为输入的节点所提供的求和激活是否包含有用信息，函数的灵敏度和饱和度都是有限的。一旦达到饱和状态，学习算法就需要不断调整权值以提高模型的性能。
最后，随着硬件能力的提高，通过 gpu 的非常深的神经网络使用Sigmoid 和 tanh 激活函数不容易训练。在大型网络深层使用这些非线性激活函数不能接收有用的梯度信息。错误通过网络传播回来，并用于更新权重。每增加一层，错误数量就会大大减少。这就是所谓的 消失梯度 问题，它能有效地阻止深层(多层)网络的学习。
虽然非线性激活函数的使用允许神经网络学习复杂的映射函数，但它们有效地阻止了学习算法与深度网络的工作。在2000年代后期和2010年代初期，通过使用诸如波尔兹曼机器和分层训练或无监督的预训练等替代网络类型，这才找到了解决办法。
为了训练深层神经网络， 需要一个激活函数神经网络，它看起来和行为都像一个线性函数，但实际上是一个非线性函数，允许学习数据中的复杂关系 。该函数还必须提供更灵敏的激活和输入，避免饱和。
因此，ReLU出现了， 采用 ReLU 可以是深度学习革命中为数不多的里程碑之一 。ReLU激活函数是一个简单的计算，如果输入大于0，直接返回作为输入提供的值；如果输入是0或更小，返回值0。
我们可以用一个简单的 if-statement 来描述这个问题，如下所示:
对于大于零的值，这个函数是线性的，这意味着当使用反向传播训练神经网络时，它具有很多线性激活函数的理想特性。然而，它是一个非线性函数，因为负值总是作为零输出。由于矫正函数在输入域的一半是线性的，另一半是非线性的，所以它被称为 分段线性函数（piecewise linear function ） 。
我们可以很容易地在 Python 中实现ReLU激活函数。
我们希望任何正值都能不变地返回，而0.0或负值的输入值将作为0.0返回。
下面是一些修正的线性激活函数的输入和输出的例子：
输出如下：
我们可以通过绘制一系列的输入和计算出的输出，得到函数的输入和输出之间的关系。下面的示例生成一系列从 -10到10的整数，并计算每个输入的校正线性激活，然后绘制结果。
运行这个例子会创建一个图，显示所有负值和零输入都突变为0.0，而正输出则返回原样：
ReLU函数的导数是斜率。负值的斜率为0.0，正值的斜率为1.0。
传统上，神经网络领域已经不能是任何不完全可微的激活函数，而ReLU是一个分段函数。从技术上讲，当输入为0.0时，我们不能计算ReLU的导数，但是，我们可以假设它为0。
tanh 和 sigmoid 激活函数需要使用指数计算， 而ReLU只需要max()，因此他 计算上更简单，计算成本也更低 。
ReLU的一个重要好处是，它能够输出一个真正的零值 。这与 tanh 和 sigmoid 激活函数不同，后者学习近似于零输出，例如一个非常接近于零的值，但不是真正的零值。这意味着负输入可以输出真零值，允许神经网络中的隐层激活包含一个或多个真零值。这就是所谓的稀疏表示，是一个理想的性质，在表示学习，因为它可以加速学习和简化模型。
ReLU看起来更像一个线性函数，一般来说，当神经网络的行为是线性或接近线性时，它更容易优化 。
这个特性的关键在于，使用这个激活函数进行训练的网络几乎完全避免了梯度消失的问题，因为梯度仍然与节点激活成正比。
ReLU的出现使得利用硬件的提升和使用反向传播成功训练具有非线性激活函数的深层多层网络成为可能 。
很长一段时间，默认的激活方式是Sigmoid激活函数。后来，Tanh成了激活函数。 对于现代的深度学习神经网络，默认的激活函数是ReLU激活函数 。
ReLU 可以用于大多数类型的神经网络， 它通常作为多层感知机神经网络和卷积神经网络的激活函数 ，并且也得到了许多论文的证实。传统上，LSTMs 使用 tanh 激活函数来激活cell状态，使用 Sigmoid激活函数作为node输出。 而ReLU通常不适合RNN类型网络的使用。
偏置是节点上具有固定值的输入，这种偏置会影响激活函数的偏移，传统的做法是将偏置输入值设置为1.0。当在网络中使用 ReLU 时， 可以将偏差设置为一个小值，例如0.1 。
在训练神经网络之前，网络的权值必须初始化为小的随机值。当在网络中使用 ReLU 并将权重初始化为以零为中心的小型随机值时，默认情况下，网络中一半的单元将输出零值。有许多启发式方法来初始化神经网络的权值，但是没有最佳权值初始化方案。 何恺明的文章指出Xavier 初始化和其他方案不适合于 ReLU ，对 Xavier 初始化进行一个小的修改，使其适合于 ReLU，提出He Weight Initialization，这个方法更适用于ReLU 。
在使用神经网络之前对输入数据进行缩放是一个很好的做法。这可能涉及标准化变量，使其具有零均值和单位方差，或者将每个值归一化为0到1。如果不对许多问题进行数据缩放，神经网络的权重可能会增大，从而使网络不稳定并增加泛化误差。 无论是否在网络中使用 ReLU，这种缩放输入的良好实践都适用。
ReLU 的输出在正域上是无界的。这意味着在某些情况下，输出可以继续增长。因此，使用某种形式的权重正则化可能是一个比较好的方法，比如 l1或 l2向量范数。 这对于提高模型的稀疏表示(例如使用 l 1正则化)和降低泛化误差都是一个很好的方法 。
.
参考资料： 算法基础---ReLU激活函数及其变种
1、什么是 ReLU
ReLU 是修正线性单元(rectified linear unit)，在 0 和 x 之间取最大值。
2、为什么要引入 ReLU
因为 sigmoid 和 tanh 容易导致梯度消失，而 ReLU 是非饱和激活函数，不容易发生梯度消失
3、ReLU 的函数表达式和导数表达式
ReLU 的函数表达式：
当 x = 0 时，ReLU = 0
当 x 0 时，ReLU = x
ReLU 的导数表达式：
当 x= 0 时，导数为 0
当 x 0 时，导数为 1
4、ReLU 的函数图像和导数图像
ReLU 的函数图像：
ReLU 的导数图像：
5、ReLU 的优点
① 有效缓解过拟合的问题，因为 ReLU 有可能使部分神经节点的输出变为 0，从而导致神经节点死亡，降低了神经网络的复杂度
② 不会发生梯度消失或梯度爆炸，当 x 大于 0 时，ReLU 的梯度恒为 1，不会随着网路深度的加深而使得梯度在累乘的时候变得越来越小或者越来越大，从而不会发生梯度消失或梯度爆炸
③ 计算简单，ReLU 本质上就是计算一次在两个值中取最大值
6、ReLU 的缺点
① 会导致神经元死亡，当一个神经元在某次的激活值为 0 之后，此后得到的激活值都是 0.
证明：
因为假设某个神经元在第 N 次时的激活值为 0，则第 N+1 次的激活值为： ，其中 取值大于 0， 是 ReLU 在 x 点的梯度。当 x = 0 时， 的值为 0，则 也为 0；当 x 0 时， 的梯度为 1，则 为 0 和 中的最大值 0.即无论 x 取什么值， 的值都等于 0.
解决方法：
① 对于ReLU 会导致神经节点死亡的原因有：
a.参数初始化时初始化到的参数值恰好能使神经节点死亡，不过这种情况非常罕见
b.学习率太高，导致在参数更新时，导致参数小于等于 0
改进方法有：
针对原因 a，采用 Xavier 初始化方法( 深度学习——Xavier初始化方法 )
针对原因 b，可以设置小一点的学习率或者是使用会自动调整学习率的优化方法，例如 Adagrad
② 输出不是零均值化(zero-centered)，会导致模型收敛较慢(解释： 谈谈激活函数以零为中心的问题 )
7、ReLU 的变种：
① Leaky ReLU
Leaky ReLU 的目的是为了解决 ReLU 的死亡神经节点的问题。Leaky ReLU 的表达式是：
ReLU = max( )，其中 通常取值为 0.01，即
当 x = 0 时，ReLU =
当 x 0 时，ReLU =
② PReLU，Parameter ReLU 是对 Leaky ReLU 的改进，对于 不再取定值，而是从样本中学习得到，具有收敛速度快，错误率低的优点。
③ RReLU，Randomized ReLU 是对 Leaky ReLU 的改进，对于 不再取定值，而是在指定范围内随机取一个值，而在预测阶段则是使用固定值。PReLU 在一定程度上具有正则效果
8、pytorch 的 ReLU 函数的作用和参数详解
torch.nn.ReLU(inplace=False)
函数作用 ：对输入进行修正线性函数 ReLU(x) = max(0, x)
参数详解
inplace:默认为 False，即不进行覆盖运算，默认为 True 的话，则会对输入进行覆盖运算，此时减少了申请和注销内存的操作，会提高运行效率
例子：
from torch import autograd
m = nn.ReLU()
input = autograd.Variable(torch.randn(2))
print(input)
print(m(input))
结果：
tensor([-0.3543, -0.7416])
tensor([0., 0.])
注：连续使用多次 ReLU 跟使用一次的 ReLU 的效果是一样的
训练回归模型所需要的信息包含-数据、模型、损失函数、优化函数（梯度下降算法）。
step 1：对数据进行预处理使其可以fit到模型中
step 2：构建模型
step 3：选择损失函数（回归模型一般用mse）和优化函数
step 4：迭代训练模型中的参数，并进行预测
回归问题转化为分类问题，分类问题相当于回归的输出是多个值。
回归的输出是实值可通过softmax将其转化为对应的概率值，且数组中的最大值所处的index不变。
引用交叉墒损失函数-衡量两个概率分布差异的测量函数。化简得最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。
多个全连接层的stack等价于一个全连接层，问题的根源在于全连接层只是对数据做仿射变换，而多个仿射变换的叠加仍然是一个仿射变换。可以通过解决非线性函数来解决该问题。
非线性激活函数如下：
1、ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定元素，该函数定义为 可以看出，ReLU函数只保留正数元素，并将负数元素清零。
2、Sigmoid函数可以将元素的值变换到0和1之间。 .导数在当输入为0时，sigmoid函数的导数达到最大值0.25；当输入越偏离0时，sigmoid函数的导数越接近0。
3、tanh（双曲正切）函数可以将元素的值变换到-1和1之间。
激活函数的选择
ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。
用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。
在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。
在选择激活函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他激活函数。
预处理通常包括四个步骤：
现有的分词工具，nltk.tokenize-word_tokenize;spacy
n元语法，防止序列长度增加，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面n个词相关，即n阶马尔可夫链。
元语法可能有哪些缺陷？参数空间过大，数据稀疏
两种采样方式，随机采样和相邻采样。对应的初始化方式不同。
卷积操作前w、h的长度
note: 为卷积后的w长度，p为padding长度，s为步长，k为卷积核大小。
卷积层与全连接层的对比：
二维卷积层经常用于处理图像，与此前的全连接层相比，它主要有两个优势：
一是全连接层把图像展平成一个向量，在输入图像上相邻的元素可能因为展平操作不再相邻，网络难以捕捉局部信息。而卷积层的设计，天然地具有提取局部信息的能力。
二是卷积层的参数量更少。
note：卷积核大小和图像大小相同时等价于全连接层。
训练误差：指模型在训练数据集上表现出的误差。
泛化误差：指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。
target：降低泛化误差。
数据集可分为：训练集、测试集、验证集（模型选择，例如-超参数）。
note：由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈，因此采用k折交叉验证。
欠拟合是模型无法得到较低的训练误差，我们将这一现象称作欠拟合；
过拟合是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合。
模型复杂度和训练数据集大小-过拟合及欠拟合的影响
模型复杂度越高越容易发生过拟合；
如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些。
过拟合的方法：正则化L1和L2及弹性网络，丢弃法-droupout。
当层数较多时，梯度的计算容易出现梯度消失或爆炸。
数据集可能存在的协变量、标签和概念偏移。
随着循环神经网络层数的增加可以出现梯度爆炸及消失，对应的使用梯度裁剪解决梯度爆炸。
困惑度是对交叉熵损失函数做指数运算后得到的值，使用它来对语言模型进行判定。特别地，
1、最佳情况下，模型总是把标签类别的概率预测为1，此时困惑度为1；
2、最坏情况下，模型总是把标签类别的概率预测为0，此时困惑度为正无穷；
3、基线情况下，模型总是预测所有类别的概率都相同，此时困惑度为类别个数。
encoder：输入到隐藏状态
decoder：隐藏状态到输出
在训练时，将decoder的输出不作为它的属于。
可以关注到任意长度的字符信息。
有两种实现方式：点方式和多层感知器方式
Transformer同样基于编码器-解码器架构，其区别主要在于以下三点：
Transformer blocks：将seq2seq模型重的循环网络替换为了Transformer Blocks，该模块包含一个多头注意力层（Multi-head Attention Layers）以及两个position-wise feed-forward networks（FFN）。对于解码器来说，另一个多头注意力层被用于接受编码器的隐藏状态。
Add and norm：多头注意力层和前馈网络的输出被送到两个“add and norm”层进行处理，该层包含残差结构以及层归一化。
Position encoding：由于自注意力层并没有区分元素的顺序，所以一个位置编码层被用于向序列元素里添加位置信息。
一共包含7层：十分类问题。
卷积6x28x28-平均池化6x14x14-卷积16x10x10-平均池化16x5x5-全连接120-全连接84-全连接10。
卷积神经网络就是含卷积层的网络。 LeNet交替使用卷积层和最大池化层后接全连接层来进行图像分类。
AlexNet
1×1卷积核作用
1.放缩通道数：通过控制卷积核的数量达到通道数的放缩。
2.增加非线性。1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性。
3.计算参数少
GoogLeNet
