摘要：
【天辰平台链接】本文目录一览：1、RNN的研究发展过程2、循环神经网络(RNN)的应用... 【天辰平台链接】
本文目录一览：
RNN的研究发展过程
1、直到1997年，人工智能研究所的主任Jurgen Schmidhuber 提出长短期记忆（LSTM），LSTM使用门控单元及记忆机制大大缓解了早期RNN训练的问题。同样在1997年，Mike Schuster 提出双向RNN模型（Bidirectional RNN）。这两种模型大大改进了早期RNN结构，拓宽了RNN的应用范围，为后续序列建模的发展奠定了基础。
2、如Figure 1所示，Model1通过一个for循环来（递归）处理每个input（token），并将hidden state传递到下一个循环，等到N个（x.shape[1]）token都学习完之后，用第N个hidden state来生成一个output。这就是RNN根据前面N个token来预测第N+1个token的过程。
3、循环神经网络（Recurrent Neural Network， RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network） 。
循环神经网络(RNN)的应用
循环神经网络（RNN）是一种适合处理序列数据的神经网络，例如自然语言和时间序列。 RNN通过循环单元（如LSTM或GRU）处理序列中的每个元素，并利用记忆单元来记住之前的上下文信息。 这使得RNN能够对序列中的长期依赖关系进行建模，并在生成输出时考虑到先前的信息。
循环神经网络（RNN）是目前深度学习最有前景的工具之一，它解决了传统神经网络不能共享从数据中共享位置的特征的问题。目前，RNN已经有了不少有意思的应用：语音识别 ：输入的语音数据，生成相应的语音文本信息。比如微信的语音转文字功能。机器翻译 ：不同语言之间的相互转换。像有道翻译、腾讯翻译官等。
循环神经网络（RNN）是数据科学领域处理序列数据的不可或缺工具，其内部的环状连接赋予了它记忆和处理上下文的独特能力。RNN的核心结构由三个部分构成：输入层接收当前时间步的数据，隐藏层（通过循环连接）存储并处理历史信息，而输出层则生成相应的响应。
循环神经网络主要用于序列数据。详细解释如下：循环神经网络是一种专门用于处理序列数据的神经网络结构。序列数据具有时间关联性，即数据中的每个元素都与其前后元素之间存在某种关联。在处理这类数据时，普通的神经网络难以捕捉这种时序依赖性，而RNN则能够有效地处理这一问题。
在处理序列数据的战场中，循环神经网络（RNN）犹如一位记忆大师，其独特的结构——隐藏层的记忆单元，使得信息能够在时间的脉络中流淌。RNN通过全神经网络的精妙编织，如图2所示，它的计算过程就像在输入、隐藏层状态和权重矩阵之间编织复杂的舞蹈。
Attention模型
1、注意力模型/Attention Model(AM)首先是在机器翻译中引入的，但是当前已经成为神经网络结中的一个重要概念。 作为在自然语言处理、统计学习、语音和计算机视觉中大量应用的神经体系结构的重要组成部分，注意力机制在人工智能(AI)社区中已变得极为流行。注意力原理可以使用人类生物系统进行解释。
2、可以看到随着句子长度增长，Bleu Score在下降。因为上面的模型要记住一整个很长的法语句子，然后在Decoder中输出。而人工翻译可以先翻译出句子的部分，再看下一部分，并翻译一部分，就这样一直下去，因为记忆整个句子是很难的。
3、)多层Attention，一般用于文本具有层次关系的模型，假设我们把一个document划分成多个句子，在第一层，我们分别对每个句子使用attention计算出一个句向量(也就是单层attention)；在第二层，我们对所有句向量再做attention计算出一个文档向量(也是一个单层attention)，最后再用这个文档向量去做任务。
4、aidma模型的含义是一种营销传播模型，主要用于描述消费者对产品或服务从接触到最终转化的过程。具体含义包括：Attention（注意力）、Interest（兴趣）、Desire（欲望）、Memory（记忆）和Action（行动）。在aidma模型中，Attention阶段是吸引消费者注意力的过程。
5、ARCS模型中的A代表的是Attention，即吸引学习者的注意力。
6、Attention模型以机器翻译作为例子讲解最常见的Soft Attention模型的基本原理，之后抛离Encoder-Decoder框架抽象出了注意力机制的本质思想，然后简单介绍最近广为使用的Self Attention的基本思路。
还没有评论，来说两句吧...