paper/

Recurrent Additive Network (RAN)

概要

LSTMよりもさらに単純化した再帰型ネットワークのための構造の提案. LSTM よりパラメータ数は 3/5 程度でありながら、タスクに依っては性能が上回る.

提案手法

セルは状態 \(c_{t-1} \in \mathbb{R}^m\) 一つを持つ. 入力 \(x_t\) に対して次の手続きによって状態を \(c_t\) に遷移し、\(h_t\) を出力する.

\(\tilde{c}\) は content layer と呼ばれ主に入力の次元を内部状態の次元に揃えるためにあるが、 気にせず次元を揃えるならば \(\tilde{c} = x\) としてしまっても良いそう.