Memory Mosaics v2 vs Transformer
文字列を左から読み、各位置で「次の文字」を予測します。セルの文字が予測(緑=正解、赤=不正解)。セルをクリックすると中身が見られます。
ABCDBEABCDBEABCDBEABCDBE
Memory Mosaic(1層・位置情報なし) 正解率 77%
Transformer(2層の誘導ヘッド・位置エンコーディングあり) 正解率 68%
Memory Mosaic:位置10で参照した記憶
キー=これまでの文脈のぼかし平均、値=その時の『次の文字』。似た文脈の記憶をカーネル回帰で重み付け。
予測: E(正解 E)
A→B
0%
B→C
3%
C→D
0%
D→B
1%
B→E
84%
E→A
1%
A→B
0%
B→C
7%
C→D
1%
D→B
2%
Transformer:位置10の注意
1層目が『直前の文字』をコピーし、2層目で現在の文字と照合して続きをコピー(誘導ヘッド)。このおもちゃ版は直前1文字だけで照合(実際の多層Transformerは学習次第でより長い文脈も扱える)。
予測: C(正解 E)
A→B
0%
B→C
33%
C→D
0%
D→B
0%
B→E
33%
E→A
0%
A→B
0%
B→C
33%
C→D
0%
D→B
0%
計算量の比較(乗算・加算の概算)
Memory Mosaicは1層のカーネル回帰だけ。Transformerは誘導ヘッドに2層必要で、各層に射影・FFN・位置エンコーディングが乗ります(ヘッド次元 d=16 と仮定。実際は64〜128×多ヘッドなので差はさらに大きい)。
Memory Mosaic(1層)3,872 回
Transformer(2層+位置エンコーディング)151,712 回
この文字列全体で、TransformerはMemory Mosaicの約 39.2倍 の計算を使います。 選択中の位置10だけなら、MM 155 回 / Transformer 6,800 回。
ポイント
- 予測の仕組み:Memory Mosaicは「文脈→次」の組を連想記憶に保存し、似た文脈を思い出して予測。値に最初から“未来”が入っているので1層で済む。Transformerは同じことを2層+位置エンコーディングで間接的に学ぶ必要がある。
- 文脈の長さ:プリセット「ABC / DBE」では、Bの次がCかEかは2つ前の文字で決まる。λ>0のMMは過去をぼかして持つので正解でき、直前1文字だけ見る誘導ヘッドは迷う。λ=0にするとMMも同じ失敗をする。
- v2の追加点:帯域幅(β)の自動調整、ゲート付きキー抽出、短期・長期・永続の3階層の記憶。ここでは短期記憶だけを簡略化して表示。
- 計算量:MMは記憶との照合1回分(1層)で済む。Transformerは同じことをするのに2層の注意+各層の射影・FFN+位置エンコーディングが要るので、同じ予測により多くの計算を使う(上の棒グラフ参照)。
- ※ 学習済みモデルではなく、仕組みを説明するための手作りのおもちゃモデルです。