Memory Mosaics v2 vs Transformer

文字列を左から読み、各位置で「次の文字」を予測します。セルの文字が予測(緑=正解、赤=不正解)。セルをクリックすると中身が見られます。

ABCDBEABCDBEABCDBEABCDBE
Memory Mosaic(1層・位置情報なし) 正解率 77%
Transformer(2層の誘導ヘッド・位置エンコーディングあり) 正解率 68%

Memory Mosaic:位置10で参照した記憶

キー=これまでの文脈のぼかし平均、値=その時の『次の文字』。似た文脈の記憶をカーネル回帰で重み付け。

予測: E(正解 E)
A→B
0%
B→C
3%
C→D
0%
D→B
1%
B→E
84%
E→A
1%
A→B
0%
B→C
7%
C→D
1%
D→B
2%

Transformer:位置10の注意

1層目が『直前の文字』をコピーし、2層目で現在の文字と照合して続きをコピー(誘導ヘッド)。このおもちゃ版は直前1文字だけで照合(実際の多層Transformerは学習次第でより長い文脈も扱える)。

予測: C(正解 E)
A→B
0%
B→C
33%
C→D
0%
D→B
0%
B→E
33%
E→A
0%
A→B
0%
B→C
33%
C→D
0%
D→B
0%

計算量の比較(乗算・加算の概算)

Memory Mosaicは1層のカーネル回帰だけ。Transformerは誘導ヘッドに2層必要で、各層に射影・FFN・位置エンコーディングが乗ります(ヘッド次元 d=16 と仮定。実際は64〜128×多ヘッドなので差はさらに大きい)。

Memory Mosaic(1層)3,872 回
Transformer(2層+位置エンコーディング)151,712 回

この文字列全体で、TransformerはMemory Mosaicの約 39.2倍 の計算を使います。 選択中の位置10だけなら、MM 155 回 / Transformer 6,800 回。

ポイント