作者：猫先森 发布时间：2026-05-14 11:31 分类：神马优化技巧 浏览：2 评论：0
投稿：Intelligent Software Development
团队先容 ：团队成员来自一线互联网公司，工作在架构计划 与优化、工程方法研究与实践的最火线 ，曾参加 搜刮 、互联网广告、共有云/私有云等大型产物 的计划 、开辟 和技能 优化工作。如今 重要 专注在呆板 学习、微服务架构计划 、假造 化/容器化、连续 交付/DevOps等范畴 ，盼望 通过先辈 技能 和工程方法最大化提拔 软件和服务的竞争力。
在前面的文章系列文章中，我们先容 了全毗连 神经网络和卷积神经网络，以及它们的练习 和利用 。他们都只能单独的取处理 惩罚 一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务 必要 可以或许 更好的处理 惩罚 序列的信息，即前面的输入和背面 的输入是有关系的。
比如 ，当我们在明白 一句话意思时，孤立的明白 这句话的每个词是不敷 的，我们必要 处理 惩罚 这些词毗连 起来的整个序列；当我们处理 惩罚 视频的时间 ，我们也不能只单独的去分析每一帧，而要分析这些帧毗连 起来的整个序列。这时，就必要 用到深度学习范畴 中另一类非常紧张 神经网络：循环神经网络(Recurrent Neural Network)。RNN种类很多 ，也比力 绕脑筋 。
不外 读者不消 担心，本文将一如既往地对复杂的东西剥茧抽丝，资助 您明白 RNN以及它的练习 算法，并动手实现一个循环神经网络。
语言模子
RNN是在天然 语言处理 惩罚 范畴 中开始 被用起来的，比如 ，RNN可以为语言模子 来建模。那么，什么是语言模子 呢？
我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如 下面这句：
我昨天上学迟到了，老师品评 了____。
我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有大概 是『我』，而不太大概 是『小明』，乃至 是『用饭 』。
语言模子 就是如许 的东西：给定一个一句话前面的部分 ，猜测 接下来最有大概 的一个词是什么。
语言模子 是对一种语言的特性 举行 建模，它有很多 很多 用处。比如 在语音转文本(STT)的应用中，声学模子 输出的结果 ，每每 是多少 个大概 的候选词，这时间 就必要 语言模子 来从这些候选词中选择一个最大概 的。固然 ，它同样也可以用在图像到文本的辨认 中(OCR)。
利用 RNN之前，语言模子 重要 是采取 N-Gram。N可以是一个天然 数，比如 2大概 3。它的寄义 是，假设一个词出现的概率只与前面N个词相干 。我们以2-Gram为例。起首 ，对前面的一句话举行 切词：
我 昨天 上学 迟到 了 ，老师 品评 了 ____。
假如 用2-Gram举行 建模，那么电脑在猜测 的时间 ，只会看到前面的『了』，然后，电脑会在语料库中，搜刮 『了』背面 最大概 的一个词。不管末了 电脑选的是不是『我』，我们都知道这个模子 是不靠谱的，由于 『了』前面说了那么一大堆实际 上是没有效 到的。假如 是3-Gram模子 呢，会搜刮 『品评 了』背面 最大概 的词，感觉上比2-Gram靠谱了不少，但还是 远远不敷 的。由于 这句话最关键的信息『我』，远在9个词之前！
如今 读者大概 会想，可以提拔 继承 提拔 N的值呀，比如 4-Gram、5-Gram.......。实际 上，这个想法是没有实用性的。由于 我们想处理 惩罚 恣意 长度的句子，N设为多少都不符合 ；别的 ，模子 的巨细 和N的关系是指数级的，4-Gram模子 就会占用海量的存储空间。
以是 ，该轮到RNN出场 了，RNN理论上可以往前看(今后 看)恣意 多个词。
循环神经网络是啥
循环神经网络种类繁多，我们先从最简单 的根本 循环神经网络开始吧。
根本 循环神经网络
下图是一个简单 的循环神经网络如，它由输入层、一个隐蔽 层和一个输出层构成 ：
纳尼？！信托 第一次看到这个玩意的读者心田 和我一样是瓦解 的。由于 循环神经网络着实 是太难画出来了，网上全部 大神们都不得不消 了这种抽象艺术伎俩 。不外 ，静下心来细致 看看的话，着实 也是很好明白 的。假如 把上面有W的谁人 带箭头的圈去掉，它就变成 了最平凡 的全毗连 神经网络。
x是一个向量，它表现 输入层的值（这内里 没有画出来表现 神经元节点的圆圈）；s是一个向量，它表现 隐蔽 层的值（这里隐蔽 层面画了一个节点，你也可以想象这一层着实 是多个节点，节点数与向量s的维度雷同 ）；U是输入层到隐蔽 层的权重矩阵（读者可以回到第二篇文章《零底子 入门深度学习(2) - 神经网络和反向传播 算法》，看看我们是怎样用矩阵来表现 全毗连 神经网络的盘算 的）；o也是一个向量，它表现 输出层的值；V是隐蔽 层到输出层的权重矩阵。那么，如今 我们来看看W是什么。循环神经网络的隐蔽 层的值s不但 仅取决于当前这次的输入x，还取决于上一次隐蔽 层的值s。权重矩阵 W就是隐蔽 层上一次的值作为这一次的输入的权重。
假如 我们把上面的图睁开 ，循环神经网络也可以画成下面这个样子：
如今 看上去就比力 清楚 了，这个网络在t时候 吸取 到输入之后，隐蔽 层的值是，输出值是。关键一点是，的值不但 仅取决于，还取决于。我们可以用下面的公式来表现 循环神经网络的盘算 方法：
式1是输出层的盘算 公式，输出层是一个全毗连 层，也就是它的每个节点都和隐蔽 层的每个节点相连。V是输出层的权重矩阵，g是激活函数。式2是隐蔽 层的盘算 公式，它是循环层。U是输入x的权重矩阵，W是上一次的值作为这一次的输入的权重矩阵，f是激活函数。
从上面的公式我们可以看出，循环层和全毗连 层的区别就是循环层多了一个权重矩阵 W。
假如 反复把式2带入到式1，我们将得到：
从上面可以看出，循环神经网络的输出值，是受前面历次输入值…….影响的，这就是为什么循环神经网络可以往前看恣意 多个输入值的缘故起因 。
双向循环神经网络
对于语言模子 来说，很多 时间 光看前面的词是不敷 的，比如 下面这句话：
我的手机坏了，我筹划 ____一部新手机。
可以想象，假如 我们只看横线前面的词，手机坏了，那么我是筹划 修一修？换一部新的？还是 大哭一场？这些都是无法确定的。但假如 我们也看到了横线背面 的词是『一部新手机』，那么，横线上的词填『买』的概率就大得多了。
在上一末节 中的根本 循环神经网络是无法对此举行 建模的，因此，我们必要 双向循环神经网络，如下图所示：
当碰到 这种从将来 穿越返来 的场景时，不免 处于懵逼的状态。不外 我们还是 可以用屡试不爽的老办法：先分析一个特别 场景，然后再总结一样平常 规律。我们先思量 上图中，y2的盘算 。
从上图可以看出，双向卷积神经网络的隐蔽 层要生存 两个值，一个A参加 正向盘算 ，另一个值A'参加 反向盘算 。终极 的输出值y2取决于A2和A'2。其盘算 方法为：
A2和A'2则分别盘算 ：
从上面三个公式我们可以看到，正向盘算 和反向盘算 不共享权重，也就是说U和U'、W和W'、V和V'都是差别 的权重矩阵。
深度循环神经网络
前面我们先容 的循环神经网络只有一个隐蔽 层，我们固然 也可以堆叠两个以上的隐蔽 层，如许 就得到了深度循环神经网络。如下图所示：
循环神经网络的练习
循环神经网络的练习 算法：BPTT
BPTT算法是针对循环层的练习 算法，它的根本 原理和BP算法是一样的，也包罗 同样的三个步调 ：
前向盘算 每个神经元的输出值；
反向盘算 每个神经元的偏差 项值，它是偏差 函数E对神经元j的加权输入的偏导数；
盘算 每个权重的梯度。
末了 再用随机梯度降落 算法更新权重。
循环层如下图所示：
前向盘算
利用 前面的式2对循环层举行 前向盘算 ：
留意 ，上面的都是向量，用黑体字母表现 ；而U、V是矩阵，用大写字母表现 。向量的下标表现 时候 ，比方 ，表现 在t时候 向量s的值。
我们假设输入向量x的维度是m，输出向量s的维度是n，则矩阵U的维度是，矩阵W的维度是。下面是上式睁开 成矩阵的样子，看起来更直观一些：
在这里我们用手写体字母表现 向量的一个元素，它的下标表现 它是这个向量的第几个元素，它的上标表现 第几个时候 。比方 ，表现 向量s的第j个元素在t时候 的值。表现 输入层第i个神经元到循环层第j个神经元的权重。表现 循环层第t-1时候 的第i个神经元到循环层第t个时候 的第j个神经元的权重。
偏差 项的盘算
同理，上式第二项也是一个Jacobian矩阵：
此中 ，diag[a]表现 根据向量a创建一个对角矩阵，即
末了 ，将两项合在一起，可得：
式3就是将偏差 项沿时间反向传播 的算法。
循环层将偏差 项反向转达 到上一层网络，与平凡 的全毗连 层是完全一样的，这在前面的文章《零底子 入门深度学习(2) - 神经网络和反向传播 算法》中已经具体 讲过了，在此仅扼要 形貌 一下。
式4就是将偏差 项转达 到上一层算法。
权重梯度的盘算
如今 ，我们终于来到了BPTT算法的末了 一步：盘算 每个权重的梯度。
按照上面的规律就可以天生 式5内里 的矩阵。
式6就是盘算 循环层权重矩阵W的梯度的公式。
------数学公式超高能预警-----
前面已经先容 了的盘算 方法，看上去还是 比力 直观的。然而，读者大概 会狐疑 ，为什么终极 的梯度是各个时候 的梯度之和呢？我们前面只是直接用了这个结论，实际 上这内里 是有原理 的，只是这个数学推导比力 绕脑筋 。感爱好 的同砚 可以细致 阅读接下来这一段，它用到了矩阵对矩阵求导、张量与向量相乘运算的一些法则。
我们还是 从这个式子开始：
接下来，我们盘算 式7加号右边的部分 ：
于是，我们得到了如下递推公式：
------数学公式超高能预警打扫 -----
权重矩阵U的盘算 方法和全毗连 神经网络的盘算 方法完全一样，这里就不再赘述了。感爱好 的读者可以看背面 的代码实现。
RNN的梯度爆炸和消散 题目
不幸的是，实践中前面先容 的几种RNNs并不能很好的处理 惩罚 较长的序列。一个重要 的缘故起因 是，RNN在练习 中很轻易 发生梯度爆炸和梯度消散 ，这导致练习 时梯度不能在较长序列中不停 转达 下去，从而使RNN无法捕获 到长间隔 的影响。
为什么RNN会产生梯度爆炸和消散 题目 呢？我们接下来将具体 分析一下缘故起因 。我们根据式3可得：
上式的界说 为矩阵的模的上界。由于 上式是一个幂函数，假如 t-k很大的话（也就是向前看很远的时间 ），会导致对应的偏差 项的值增长或缩小的非常快，如许 就会导致相应的梯度爆炸和梯度消散 题目 （取决于大于1还是 小于1）。
通常来说，梯度爆炸更轻易 处理 惩罚 一些。由于 梯度爆炸的时间 ，我们的程序会收到NaN错误。我们也可以设置一个梯度阈值，当梯度高出 这个阈值的时间 可以直接截取。
梯度消散 更难检测，而且也更难处理 惩罚 一些。总的来说，我们有三种方法应对梯度消散 题目 ：
公道 的初始化权重值。初始化权重，使每个神经元尽大概 不要取极大或极小值，以躲开梯度消散 的地区 。
利用 relu代替 sigmoid和tanh作为激活函数。原理请参考上一篇文章《零底子 入门深度学习(三) - 卷积神经网络》的激活函数一节。
利用 其他布局 的RNNs，比如 黑白 时影象 网络（LTSM）和Gated Recurrent Unit（GRU），这是最盛行 的做法。我们将在以后的文章中先容 这两种网络。
RNN的应用举例——基于RNN的语言模子
如今 ，我们先容 一下基于RNN语言模子 。我们起首 把词依次输入到循环神经网络中，每输入一个词，循环神经网络就输出克制 到如今 为止，下一个最大概 的词。比方 ，当我们依次输入：
我 昨天 上学 迟到 了
神经网络的输出如下图所示：
此中 ，s和e是两个特别 的词，分别表现 一个序列的开始和竣事 。
向量化
我们知道，神经网络的输入和输出都是向量，为了让语言模子 可以或许 被神经网络处理 惩罚 ，我们必须把词表达为向量的情势 ，如许 神经网络才华 处理 惩罚 它。
神经网络的输入是词，我们可以用下面的步调 对输入举行 向量化：
创建 一个包罗 全部 词的辞书 ，每个词在辞书 内里 有一个唯一的编号。
恣意 一个词都可以用一个N维的one-hot向量来表现 。此中 ，N是辞书 中包罗 的词的个数。假设一个词在辞书 中的编号是i，v是表现 这个词的向量，是向量的第j个元素，则：
上面这个公式的寄义 ，可以用下面的图来直观的表现 ：
利用 这种向量化方法，我们就得到了一个高维、希罕 的向量（希罕 是指绝大部分 元素的值都是0）。处理 惩罚 如许 的向量会导致我们的神经网络有很多 的参数，带来巨大 的盘算 量。因此，每每 会必要 利用 一些降维方法，将高维的希罕 向量变化 为低维的稠密向量。不外 这个话题我们就不再这篇文章中讨论了。
语言模子 要求的输出是下一个最大概 的词，我们可以让循环神经网络盘算 盘算 辞书 中每个词是下一个词的概率，如许 ，概率最大的词就是下一个最大概 的词。因此，神经网络的输出向量也是一个N维向量，向量中的每个元素对应着辞书 中相应的词是下一个词的概率。如下图所示：
Softmax层
前面提到，语言模子 是对下一个词出现的概率举行 建模。那么，怎样让神经网络输出概率呢？方法就是用softmax层作为神经网络的输出层。
我们先来看一下softmax函数的界说 ：
这个公式看起来大概 很晕，我们举一个例子。Softmax层如下图所示：
从上图我们可以看到，softmax layer的输入是一个向量，输出也是一个向量，两个向量的维度是一样的（在这个例子内里 是4）。输入向量x=[1 2 3 4]颠末 softmax层之后，颠末 上面的softmax函数盘算 ，变化 为输出向量y=[0.03 0.09 0.24 0.64]。盘算 过程为：
我们来看看输出向量y的特性 ：
每一项为取值为0-1之间的正数；
全部 项的总和是1。
我们不难发现，这些特性 和概率的特性 是一样的，因此我们可以把它们看做是概率。对于语言模子 来说，我们可以以为 模子 猜测 下一个词是辞书 中第一个词的概率是0.03，是辞书 中第二个词的概率是0.09，以此类推。
语言模子 的练习
可以利用 监督 学习的方法对语言模子 举行 练习 ，起首 ，必要 预备 练习 数据集。接下来，我们先容 怎样把语料：
我 昨天 上学 迟到 了
转换成语言模子 的练习 数据集。
起首 ，我们获取输入-标签对：
然后，利用 前面先容 过的向量化方法，对输入x和标签y举行 向量化。这内里 故意 思的是，对标签y举行 向量化，其结果 也是一个one-hot向量。比方 ，我们对标签『我』举行 向量化，得到的向量中，只有第2019个元素的值是1，其他位置的元素的值都是0。它的寄义 就是下一个词是『我』的概率是1，是别的 词的概率都是0。
末了 ，我们利用 交错 熵偏差 函数作为优化目标 ，对模子 举行 优化。
在实际 工程中，我们可以利用 大量的语料来对模子 举行 练习 ，获取练习 数据和练习 的方法都是雷同 的。
交错 熵偏差
一样平常 来说，当神经网络的输出层是softmax层时，对应的偏差 函数E通常选择交错 熵偏差 函数，其界说 如下：
在上式中，N是练习 样本的个数，向量是样本的标记 ，向量是网络的输出。标记 是一个one-hot向量，比方 ，假如 网络的输出，那么，交错 熵偏差 是（假设只有一个练习 样本，即N=1）：
我们固然 可以选择其他函数作为我们的偏差 函数，比如 最小平方偏差 函数(MSE)。不外 对概率举行 建模时，选择交错 熵偏差 函数更make sense。具体 缘故起因 ，感爱好 的读者请阅读参考文献7。
RNN的实现
为了加深我们对前面先容 的知识的明白 ，我们来动手实现一个RNN层。我们复用了上一篇文章《零底子 入门深度学习(三) - 卷积神经网络》中的一些代码，以是 先把它们导入进来。
我们用RecurrentLayer类来实现一个循环层。下面的代码是初始化一个循环层，可以在构造函数中设置卷积层的超参数。我们留意 到，循环层有两个权重数组，U和W。
在forward方法中，实现循环层的前向盘算 ，这部分 比力 简单 。
在backword方法中，实现BPTT算法。
故意 思的是，BPTT算法固然 数学推导的过程很贫苦 ，但是写成代码却并不复杂。
在update方法中，实现梯度降落 算法。
上面的代码不包罗 权重U的更新。这部分 实际 上和全毗连 神经网络是一样的，留给感爱好 的读者本身 来完成吧。
循环层是一个带状态的层，每次forword都会改变循环层的内部状态，这给梯度查抄 带来了贫苦 。因此，我们必要 一个reset_state方法，来重置循环层的内部状态。
末了 ，是梯度查抄 的代码。
必要 留意 ，每次盘算 error之前，都要调用reset_state方法重置循环层的内部状态。下面是梯度查抄 的结果 ，没题目 ！
小结
至此，我们讲完了根本 的循环神经网络、它的练习 算法：BPTT，以及在语言模子 上的应用。RNN比力 烧脑，信托 拿下前几篇文章的读者们搞定这篇文章也不在话下吧！然而，循环神经网络这个话题并没有完结。我们在前面说到过，根本 的循环神经网络存在梯度爆炸和梯度消散 题目 ，并不能真正的处理 惩罚 好长间隔 的依靠 （固然 有一些本领 可以减轻这些题目 ）。
究竟 上，真正得到广泛的应用的是循环神经网络的一个变体：黑白 时影象 网络。它内部有一些特别 的布局 ，可以很好的处理 惩罚 长间隔 的依靠 ，我们将在下一篇文章中具体 的先容 它。如今 ，让我们稍事苏息 ，预备 挑衅 更为烧脑的黑白 时影象 网络吧。
相干 专题：
百度资深灵敏 锻练 ：深度分析 连续 交付之全面设置 管理
百度连续 交付新产物 的改造之路（附PPT）
零底子 入门深度学习(三)：卷积神经网络
零底子 入门深度学习（二）：神经网络和反向传播 算法
零底子 入门深度学习：感应器、线性单位 和梯度降落
精选专题（官网：dbaplus.cn）
◆ 近期热文 ◆
如许 诊断和调优，轻松与数据库"timeout"说再见性能提拔 利器：MySQL 5.7多源主从复制的独特性运维改革探索(一)：用多层级监控实现可视化运维从摆脱Data Guard手工搭建及维护的烦恼提及 一次耐人寻味的SQL优化：除了SQL改写，还要思量 什么?
◆ 专家专栏 ◆
杨志洪丨杨建荣丨陈能技丨丁俊丨卢钧轶丨李海翔
魏兴华丨邹德裕丨周正中丨高强丨白鳝丨卢飞丨王佩
◆ 近期活动 ◆
Gdevops环球 灵敏 运维峰会上海站
峰会官网：www.gdevops.com