循环神经网络（RNN）又称递归神经网络，是一种功能强大的神经网络类型，也是目前最先进的顺序数据算法之一。循环神经网络（RNN）利用它的内部记忆来处理任意时序的输入序列，目前常用于处理如手写识别、语音识别等。

循环神经网络（RNN）顾名思义，它带有一个指向自身的环，这个环装神经网络表示它用以传递当前时刻处理的信息给下一时刻使用，它对相同神经网络进行多重复制，每一时刻的神经网络会传递信息给下一时刻。



RNN最初是在20世纪80年代创建的，由于近年来计算能力的发展，将现已存在的大量数据和20世纪90年的的LSTM发明相结合，这些数据的价值才真正得以体现。

基于RNN拥有内部记忆这个特性，它能够将收到的重要信息保存用以精准预测接下来即将发生的事情，利用内部记忆来处理任意时序的输入序列，正因如此，RNN成为例如时间序列、语音、文本、财务数据、音频、视频、天气等数据的首先算法。

循环神经网络现已成为国际上神经网络专家研究的重要对象之一。

循环神经网络（RNN）的分类：

1、完全递归网络（Fully recurrent network）

简单的解释完全递归网络是一个多层向前网络，其中先前隐藏的单元激活并输入数据一起反馈到网络中。

2、Hopfield神经网络（Hopfield network）

Hopfield神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），Hopfield网络也提供了模拟人类记忆的模型。

3、简单循环网络（Simple Recurrent Network, SRN）

简单的递归网络是反向传播神经网络的一个特定一版本，它允许对顺序输入和输出进行处理。它通常是一个三层网络，其中隐藏层激活的一个副本被保存并在下一个步骤中作为对隐藏层的输入（除了实际的输入之外）。

4、回声状态网络（Echo state network）

这个回声状态网络（ESN）是一个循环神经网络，具有稀疏连接的隐藏层（通常具有1％的连通性）。 隐藏神经元的连通性和权重是固定的和随机分配的。 可以学习输出神经元的权重，以便网络可以（重新）产生特定的时间模式。

5、长短期记忆网络（Long Short Term Memery network, LSTM）

长短期记忆（LSTM）是一种时间递归神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。

6、双向循环神经网络（Bi-directional RNN）

双向循环神经网络（BRNN）将两个相反方向的隐藏层连接到同一输出。通过这种形式的生成深度学习，输出层可以同时从过去（向后）和未来（向前）状态获取信息。是Schuster和Paliwal在1997年发明，引入了BRNN来增加网络可用的输入信息量。

7、持续型网络（Continuous-time RNN）

Continuous-time RNN（CTRNN）是一种人工神经网络：一个模拟神经元的互联网络模型。在CTRNN神经元中，典型的类型是被称为漏积分器。这是一个非常简化的真实神经元模型，具有一个由微分方程的持续更新的内部状态。

8、堆叠循环神经网络（Stacked Recurrent Neural Network, SRNN）

SRNN 具有通过多层网络和极少的额外参数来获得高层次信息的能力。不需要改变循环单元，SRNN 的速度便可以达到标准 RNN 的 136 倍，而且训练更长的序列时，SRNN 的速度还能更快。

9、循环多层感知器（Recurrent Multi-Layer Perceptron，RMLP）

循环多层感知器（RMLP）利用状态空间扩展方法，将具有扇形单调非线性激活函数的离散时间递归神经网络（也称为递归多层感知器（RMLP））转换为线性微分包含（LDI）表示的形式。

10、递归神经网络（Recurrent Neural Network）

如上文所讲，递归神经网络（RNN）的基本特征是该网络包含至少一个反馈连接，由此激活可以在一个循环中循环流动。