前沿高端技术之递归神经网络（RNN）

王者归来szh · 发表于 2022-7-20 11:26

递归神经网络（RNN）
RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKey keyboard应用程序），以及将一个序列转换为另一个序列（比如从法语翻译成英语的语言翻译）等应用程序。大多数模型架构（如前馈神经网络）都没有利用数据的序列特性。例如，我们需要数据呈现出向量中每个样例的特征，如表示句子、段落或文档的所有token。前馈网络的设计只是为了一次性地查看所有特征并将它们映射到输出。让我们看一个文本示例，它显示了为什么顺序或序列特性对文本很重要。I had cleaned my car和I had my car cleaned两个英文句子，用同样的单词，但只有考虑单词的顺序时，它们才意味着不同的含义。

人类通过从左到右阅读词序列来理解文本，并构建了可以理解文本数据中所有不同内容的强大模型。RNN的工作方式有些许类似，每次只查看文本中的一个词。RNN也是一种包含某特殊层的神经网络，它并不是一次处理所有数据而是通过循环来处理数据。由于RNN可以按顺序处理数据，因此可以使用不同长度的向量并生成不同长度的输出。图6.3提供了一些不同的表示形式。

[backcolor=rgba(18, 18, 18, 0.5)]

编辑切换为居中

添加图片注释，不超过 140 字（可选）

图6.3

图6.3来自关于RNN一个著名博客（http://karpathy.github.io/2015/05/21/rnn-effectiveness），其中作者Andrej Karpathy写明了如何使用Python从头开始构建RNN并将其用作序列生成器。

6.4.1　通过示例了解RNN如何使用
假设我们已经构建了一个RNN模型，并且尝试了解它提供的功能。当了解了RNN的作用后，就可以来探讨一下RNN内部发生了什么。

让我们用Thor的评论作为RNN模型的输入。我们正在看的示例文本是the action scenes were top notch in this movie... .首先将第一个单词the传递给模型；该模型生成了状态向量和输出向量两种不同的向量。状态向量在处理评论中的下一个单词时传递给模型，并生成新的状态向量。我们只考虑在最后一个序列中生成的模型的输出。图6.4概括了这个过程。

[backcolor=rgba(18, 18, 18, 0.5)]

编辑

添加图片注释，不超过 140 字（可选）

图6.4

图6.4演示了以下内容：

· RNN如何通过展开和图像来工作；

· 状态如何以递归方式传递给同一模型。

到现在为止，我们只是了解了RNN的功能，但并不知道它是如何工作的。在了解其工作原理之前来看一些代码片段，它会更详细地展示我们学到的东西。仍然将RNN视为黑盒：

在上述代码中，hidden变量表示状态向量，有时也称为隐藏状态。到现在为止，我们应该知道了如何使用RNN。现在来看一下实现RNN的代码，并了解RNN内部发生的情况。以下代码包含RNN类：

除了上述代码中的单词RNN之外，其他一切听起来与在前面章节中使用的非常类似，因为PyTorch隐藏了很多反向传播的复杂度。让我们通过init函数和forward函数来了解发生了什么。

__init__函数初始化了两个线性层，一个用于计算输出，另一个用于计算状态或隐藏向量。

forward函数将input向量和hidden向量组合在一起，并将其传入两个线性层，从而生成输出向量和隐藏状态。对于output层，我们应用log_softmax函数。

initHidden函数有助于创建隐藏向量，而无需在第一次时声明调用RNN。让我们通过图6.5了解RNN类的作用。