NNDL作业10第六章课后题（LSTM|GRU）-创新互联

创新互联公司服务项目包括涡阳网站建设、涡阳网站制作、涡阳网页制作以及涡阳网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，涡阳网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到涡阳省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做)

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做)

附加题 6-2P LSTM BP推导，并用Numpy实现

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

梯度爆炸问题产生的原因是由于公式 $Z_{k}=Uh_{k-1}+Wx_{k}+b$ 作为函数 $g(\ast )$ 在第k时刻的输入时，计算误差项 $\delta _{t,k}=\frac{\partial L_{t}}{\partial z_{k}}$ ，梯度可能会过大，从而导致梯度爆炸，可以通过使用LSTM网络来增加门控机制，以此来解决该问题。