Transformer：アテンション機構による言語モデルの再定義

文章を一語ずつ順番に処理しなくても、翻訳の精度を保ちながら学習を一斉に進められるでしょうか。

黒板に書かれた文章のすべての言葉同士に糸を張り巡らせるように、「この言葉はどの言葉と深く関係しているか」を一瞬で計算します。「探したい問い（Query）」と「相手の言葉が持つ特徴（Key）」を照らし合わせることで、前後の文脈を一瞬でつかみます。

著者らの報告では、英独翻訳で28.4点、英仏翻訳で41.8点を記録しました。英仏モデルは8台のP100を使って3.5日で学習しています。

文章が長くなると、言葉同士を比べる組み合わせが長さの二乗で増え、必要な計算と記憶も増えます。また、関係を調べる処理だけでは語順が分からないため、位置の目印が欠かせません。原論文の中心は英独・英仏翻訳であり、後世の対話、画像、音声への利用をこの実験だけで保証したものではありません。

著者らの結果は、順番に一語ずつ計算する方法を使わなくても、翻訳モデルを作れることを示しました。別の文章課題でも精度と計算の利点が保たれるなら、一斉計算しやすい構成を選ぶ理由になります。ただし、原論文が直接比べた中心は二つの翻訳課題であり、長い文章では言葉の組み合わせが急増します。

文章を一語ずつ順番に処理しなくても、翻訳の精度を保ちながら学習を一斉に進められるでしょうか。

先行する翻訳モデルは、文章を順番に処理するRNNやLSTMを中心にし、必要な入力箇所を見る仕組みを補助として加えていました。畳み込みを使い、一斉計算しやすくする方法もありましたが、離れた言葉を結ぶには複数の層が必要でした。

中心となる考えは、入力文の各言葉について、ほかの言葉をどれだけ参照するかを直接計算することです。離れた言葉でも一回の処理で結べます。同じ計算を八つの異なる変換で行い、得られた情報をまとめます。順番に読む処理を外した代わりに、各言葉の位置を表す目印を入力へ足します。入力を読む側と訳文を作る側をそれぞれ六段重ね、各段には元の情報を足し戻す近道も置きます。

Transformerの心臓部は、「Query（探す問い）」「Key（見出し）」「Value（内容）」という図書館の検索のような仕組み（Scaled Dot-Product Attention）です。

例えば「彼は銀行でお金を下ろした」という文章があるとき、「銀行」という言葉（Query）は、文章中の他のすべての単語（Key）に対して「私とどんな関係がある？」と問いかけます。「お金」という単語は「預金や引き出しに関係する場所だ」という強い合図を返し、その結果「川の土手（bank）」ではなく「金融機関（bank）」という意味（Value）が強く引き出されます。

Transformerはこの関係性の計算を、8つの異なる視点（文法を見る目、意味のつながりを見る目、主語と述語を結ぶ目など）から同時に行います（マルチヘッドアテンション）。さらに、何層も深く重ねても学習が途中で破綻しないよう、過去の情報をそのまま次へバイパスする「近道（残差接続）」を組み合わせることで、賢く安定した文脈理解を実現しました。

入力を読む側では、文中の各言葉が同じ文の全位置を参照します。訳文を作る側では、まだ作っていない未来の単語を見ないよう隠し、すでに作った部分だけを参照します。そのうえで入力文にも注意を向け、どの原文をもとに次の訳語を出すかを計算します。関係を調べた後には、各位置へ同じ二段の変換を施します。元の情報を足し戻し、数値の偏りを整えてから次の段へ渡します。

著者らはWMT 2014の英独・英仏翻訳で、翻訳の一致度を測るBLEU、学習時間、推定計算量を先行法と比べました。単一モデルと複数モデルを組み合わせた結果を区別しています。翻訳以外への適用を見るため、英語の文構造を木として当てるPenn Treebankの構文解析も評価しました。

英独翻訳では、著者らは単一モデルで28.4 BLEUを報告しました。論文の表では、それまでの複数モデルを組み合わせた結果26.3を2.1ポイント上回ります。英仏翻訳では41.8 BLEUでした。英仏Bigモデルは8台のP100を3.5日使って学習し、推定計算量は1.8×10の19乗回と報告されています。英語の構文解析では、課題専用の調整をしない設定で41.3 F1でした。BLEUとF1はそれぞれの課題の採点値であり、人の言語能力全体を測る数字ではありません。

論文が直接確かめた中心は機械翻訳です。別の文章課題でも結果は示しましたが、現在のあらゆる生成AIの能力をこの実験だけで示したわけではありません。 後にBERTやGPT、画像・音声モデルで使われたという事実は、この構成の歴史的な広がりを示します。しかし、原論文は大規模な文章の事前学習や画像生成を評価していないため、それらの性能を翻訳結果から直接導くことはできません。

文章が長くなると、言葉同士を比べる組み合わせが長さの二乗で増え、必要な計算と記憶も増えます。また、関係を調べる処理だけでは語順が分からないため、位置の目印が欠かせません。原論文の中心は英独・英仏翻訳であり、後世の対話、画像、音声への利用をこの実験だけで保証したものではありません。

著者らの結果は、順番に一語ずつ計算する方法を使わなくても、翻訳モデルを作れることを示しました。別の文章課題でも精度と計算の利点が保たれるなら、一斉計算しやすい構成を選ぶ理由になります。ただし、原論文が直接比べた中心は二つの翻訳課題であり、長い文章では言葉の組み合わせが急増します。

従来のモデルは前の計算結果を次へ渡すため、学習時にも単語の順に計算する必要がありました。論文は、この受け渡しをなくしても翻訳できると仮定します。一方、言葉の順番は自動では分からないため、位置の目印を別に加える必要があります。また、文章内の各言葉をほかの全語と比べるため、長さが増えるほど組み合わせが急に増えます。 順番に処理するモデルでは、離れた二語の情報を結ぶまでに多くの段階を通ります。Transformerは二語を一段で直接結べますが、すべての組を調べます。論文は、文の長さが内部で使う特徴数より短いような当時の翻訳設定では、この交換が計算面でも有利になり得ると整理しました。したがって、一斉計算できるという利点は文章の長さや機械の使い方と無関係ではありません。

先行する翻訳モデルは、文章を順番に処理するRNNやLSTMを中心にし、必要な入力箇所を見る仕組みを補助として加えていました。畳み込みを使い、一斉計算しやすくする方法もありましたが、離れた言葉を結ぶには複数の層が必要でした。 入力文の必要な場所を見る注意の仕組み自体は、この論文より前の翻訳モデルにもありました。ただし、先行法では文章を順番に処理する本体を助ける役割でした。また、畳み込みを重ねる方法は同時に計算できますが、離れた位置を結ぶまでに複数段を通ります。この論文の新しさは注意の仕組みの発明ではなく、それを入力側と出力側の中心に置き、再帰や畳み込みを主要な情報交換から外したことです。

入力文を読む側と訳文を作る側を、それぞれ六つの段で構成します。各段の中心は、言葉同士の関係を調べる処理と、各位置を個別に変換する処理です。訳文側には、入力文のどこを見るかを決める処理もあります。各処理には元の情報を足し戻す近道と、数値の偏りを整える処理を組み合わせます。再帰や畳み込みを主要な情報交換には使いません。 入力側では同じ文の中を見る処理を使います。出力側では、すでに作った訳文の中を見る処理と、入力文を見る処理を分けます。その間に、各位置へ同じ二段の変換をかけます。各処理の出力には元の値を足し、値の大きさを整えます。この組み合わせ全体がTransformerであり、言葉同士の関係を見る一部品だけを指すものではありません。

各言葉から三つの情報を作ります。Queryは今探している関係、Keyはほかの言葉が持つ照合用の特徴、Valueは実際に集める内容です。QueryとKeyの近さから各言葉を見る割合を決め、その割合でValueを混ぜます。特徴の数が多いと近さの値が大きくなりすぎるため、Keyの特徴数の平方根で割ってから割合へ変えます。

この計算を一組だけで行わず、Baseモデルでは八組に分けます。各組は元の情報を別々に変換してから関係を計算し、最後に八組の結果をつなぎます。論文は各組が特定の文法役割を必ず担当すると仮定していません。複数の変換空間で異なる関係を扱えるようにする設計です。

言葉同士の関係を調べるだけでは順番が分かりません。そこで、位置ごとに速さの異なる波の値を作り、単語の情報へ足します。学習で位置表を覚える方法も比較し、論文では両者の結果が近いと報告しました。固定した波を採用した理由として、学習時より長い文への対応可能性を挙げています。

訳文側の関係計算には覆いをかけ、次の単語を作るときに未来の正解を見られないようにします。これにより、学習時は各位置の計算をまとめて進めつつ、文章を作るときはそれまでの出力だけを条件に次の語を選びます。学習時の一斉計算と、生成時の逐次処理は同じではありません。

著者らはBaseとBigの二つの主な設定を使いました。Baseは言葉の表現を512個の値で持ち、八つの見方に分け、各見方では64個の値を使います。入力側と出力側は各六段です。各位置を個別に変換する部分では、いったん2048個へ広げてから512個へ戻します。学習にはAdamを使い、最初の4000回は学習率を上げ、その後は下げました。値を一部隠す処理と、正解以外にも少し確率を配る処理を使っています。主なデータはWMT 2014英独・英仏翻訳です。

著者らはWMT 2014の英独・英仏翻訳で、翻訳の一致度を測るBLEU、学習時間、推定計算量を先行法と比べました。単一モデルと複数モデルを組み合わせた結果を区別しています。翻訳以外への適用を見るため、英語の文構造を木として当てるPenn Treebankの構文解析も評価しました。 BLEUは作った訳文が参照訳とどれだけ一致するかをまとめた指標です。同じデータと言語方向の中で先行法と比べるために使われますが、訳文の正しさを人と同じようにすべて判定するものではありません。構文解析のF1も別の採点方法なので、翻訳BLEUと数字を直接比べることはできません。学習時間と推定計算量は品質とは別に示され、精度と計算の両方から比較されています。

英独翻訳では、著者らは単一モデルで28.4 BLEUを報告しました。論文の表では、それまでの複数モデルを組み合わせた結果26.3を2.1ポイント上回ります。英仏翻訳では41.8 BLEUでした。英仏Bigモデルは8台のP100を3.5日使って学習し、推定計算量は1.8×10の19乗回と報告されています。英語の構文解析では、課題専用の調整をしない設定で41.3 F1でした。BLEUとF1はそれぞれの課題の採点値であり、人の言語能力全体を測る数字ではありません。 構文解析は翻訳と異なる課題への適用例ですが、文章以外や大規模事前学習まで確かめたものではありません。学習計算量の比較も、論文表に記載された各先行法の設定に基づくため、同じ機械での完全に統一した速度比較ではありません。

Table 3では、同時に使う見方を一つ、四つ、八つ、十六へ変え、KeyとValueの情報量、モデル全体の幅、二段変換の幅、値を隠す割合も比較しました。見方を一つにした設定や、Keyを小さくしすぎた設定では英独翻訳の開発用データで成績が下がりました。一方、見方を増やせば常に良くなるわけでもありません。固定した位置の波と、位置を学習する表の結果は近い値でした。ただし複数の設定が連動する比較もあり、各部品の効果を一つずつ完全に分けた実験ではありません。 Big設定はBaseより内部の幅を広げ、値を隠す割合も変えています。そのため、Bigの結果から単純に幅だけの効果を読むことはできません。論文は学習した位置表と固定した波の目印も比べましたが、評価範囲では結果が近く、どちらがあらゆる長さで優れるかまでは決めていません。

改善には、言葉同士の関係を見る仕組みだけでなく、複数の見方、位置の目印、元の情報を足し戻す近道、学習率の変え方も同時に関わっています。原論文の比較だけでは、一つの部品だけの効果を完全には分けられません。 また、学習時間の短さには構成だけでなく、学習率の変え方、値を一部隠す方法、正解ラベルの扱いも関係します。英独の28.4点と英仏の41.8点はデータと言語の組が異なるので、数字の大小を言語間の難しさとして直接比べることもできません。

文章が長くなると、言葉同士を比べる組み合わせが長さの二乗で増え、必要な計算と記憶も増えます。また、関係を調べる処理だけでは語順が分からないため、位置の目印が欠かせません。原論文の中心は英独・英仏翻訳であり、後世の対話、画像、音声への利用をこの実験だけで保証したものではありません。 翻訳の出力側は、次の語を一語ずつ作ります。そのため、学習時に各位置をまとめて計算できることと、完成文を一度に生成できることは別です。さらに、論文が示した計算量の比較は文章の長さと内部表現の幅の関係に依存します。どの長さでも従来法より軽いという主張ではありません。

長い文章で組み合わせの増加をどう抑えるか、位置の目印をどう選ぶか、翻訳以外でも同じ利点が得られるかが残ります。また、学習時の一斉計算と、一語ずつ文を作るときの速さは分けて調べる必要があります。 さらに、複数の見方が実際にどの関係を担当するのか、固定した位置の波が学習時より長い文章へどこまで対応できるのか、翻訳で得た設計判断が異なる種類の入力でも成り立つのかは、この論文の数値だけでは決まりません。後続研究の成功を原論文の予測として読み替えず、課題ごとに比較する必要があります。

著者らの結果は、順番に一語ずつ計算する方法を使わなくても、翻訳モデルを作れることを示しました。別の文章課題でも精度と計算の利点が保たれるなら、一斉計算しやすい構成を選ぶ理由になります。ただし、原論文が直接比べた中心は二つの翻訳課題であり、長い文章では言葉の組み合わせが急増します。

逐次状態更新を除き、self-attentionを主要な系列変換として、翻訳精度と学習効率を両立できるかが研究課題です。

入力をQuery、Key、Valueの線形射影空間へ変換し、内積注意を次元数の平方根で正規化するScaled Dot-Product Attentionを適用。これを複数ヘッドで並列化するMulti-Head Attentionと、位置ごとのFeed-Forward Networkを残差接続とLayerNormで束ねた階層構造を取ります。

著者らは英独で28.4 BLEU、英仏で41.8 BLEUを報告しました。英仏Bigモデルは8台のP100で3.5日学習され、比較表では先行法より少ない推定計算量でした。

Self-attentionは系列長 (N) に対して計算・attention matrixの記憶量が (O(N^2)) となる。演算自体は順序を持たないためpositional encodingが必要である。評価の中心はWMT 2014 En–De/En–Frであり、構文解析以外の領域や大規模事前学習への外的妥当性は原論文から直接は決まらない。デコーダの生成は自己回帰的で、学習時の並列性が生成時にそのまま得られるわけでもない。

翻訳精度と著者らが報告した学習計算量を合わせると、系列モデルの設計では逐次状態を持つことより、並列化可能性と位置間パス長を優先する判断が成り立ちます。この判断を他領域へ広げるには、系列長の二次コスト、位置表現、自己回帰デコードを含む条件ごとの評価が必要です。

逐次状態更新を除き、self-attentionを主要な系列変換として、翻訳精度と学習効率を両立できるかが研究課題です。

LSTMやGRUをベースとしたエンコーダ・デコーダモデルに、補助的にアテンションを付加する構成（Bahdanau Attention等）。

RNN/CNNを一切使用しない、純粋な自己注意機構のみによるEncoder-Decoderアーキテクチャ

内積の次元正規化を行うScaled Dot-Product Attentionの定式化

異なる射影部分空間から複数の相関パターンを抽出するMulti-Head Attention（標準8ヘッド構成）

系列順序を維持するための周波数ベースのSinusoidal Positional Encoding

自己回帰デコード時に未来トークンへのアテンション重みをマイナス無限大にマスクするCausal Masking

Transformerの中核は、以下の数式で定義される Scaled Dot-Product Attention です：

ここで、$Q, K \in \mathbb{R}^{n \times d_k}$、$V \in \mathbb{R}^{n \times d_v}$ です。内積値をキーの次元数 $d_k$ の平方根で除算（スケーリング）する理由は、$d_k$ が大きくなった際に内積値のマグニチュードが極大化し、Softmax関数の勾配が極小領域（サチュレーション領域）に押し込まれるのを防ぐためです。

さらに、単一のアテンション関数を適用するのではなく、Query、Key、Valueを異なる線形変換行列 $W_i^Q, W_i^K, W_i^V$ によって $h$ 個の部分空間に射影し、並列にアテンションを計算する Multi-Head Attention を導入しました：

$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W^O$

各層は、Multi-Head Attentionサブレイヤーと、各位置に独立適用される2層MLP（Position-wise Feed-Forward Network）で構成され、それぞれの出力に残差接続（Residual Connection）とLayer Normalization（Post-LN: $\text{LayerNorm}(x + \text{Sublayer}(x))$）が適用されます。

WMT 2014 En–De/En–FrでBLEUを評価し、single-modelおよびensemble baselineと比較した。訓練コストはP100 GPU上のwall-clockとestimated FLOPsで比較し、Penn Treebank constituency parsingを追加評価した。

WMT 2014英独タスクにおいて28.4 BLEUを記録。先行研究の最高アンサンブルモデル（26.3 BLEU）を単一モデルで2.1ポイント更新

WMT 2014英仏タスクにおいて41.8 BLEUを達成。当時の文献におけるあらゆる単一モデルのSOTAを更新

英仏Bigモデルの訓練リソースは8台のNVIDIA P100 GPUで3.5日（約1.8×10^19 FLOPs）。先行手法（MoE: 1.5×10^20 FLOPs、GNMT: 2.5×10^20 FLOPs）と比較して訓練コストを約1/10に削減

英語成分構文解析（Penn Treebank WSJ 23）で41.3 F1を達成し、翻訳以外のドメインへの転移性を確認

直接の根拠は主に機械翻訳と一つの構文解析課題です。後の大規模言語モデルへの採用は歴史的重要性を示しますが、2017年の実験が後世の全能力を検証したわけではありません。

Self-attentionは系列長 (N) に対して計算・attention matrixの記憶量が (O(N^2)) となる。演算自体は順序を持たないためpositional encodingが必要である。評価の中心はWMT 2014 En–De/En–Frであり、構文解析以外の領域や大規模事前学習への外的妥当性は原論文から直接は決まらない。デコーダの生成は自己回帰的で、学習時の並列性が生成時にそのまま得られるわけでもない。

翻訳精度と著者らが報告した学習計算量を合わせると、系列モデルの設計では逐次状態を持つことより、並列化可能性と位置間パス長を優先する判断が成り立ちます。この判断を他領域へ広げるには、系列長の二次コスト、位置表現、自己回帰デコードを含む条件ごとの評価が必要です。

RNNの逐次依存が学習時の並列化を制約し、長距離依存の計算経路を長くするという問題を置く。Transformerは全対全self-attentionで各位置を同時更新できること、順序情報はpositional encodingで注入できることを仮定する。この交換によりmaximum path lengthは短くなるが、系列長に対する時間・空間計算量は二次になる。

LSTMやGRUをベースとしたエンコーダ・デコーダモデルに、補助的にアテンションを付加する構成（Bahdanau Attention等）。

再帰も畳み込みも撤廃し、入力シーケンス内の全要素間の相関を直接計算する『Self-Attention』のみでネットワークを構築する。

Transformerのアーキテクチャ仕様と数理的メカニズムは以下の通りです：

1. Scaled Dot-Product Attentionの数理と導出

注意機構は、Query行列 $Q$、Key行列 $K$、Value行列 $V$ を引数とし、次式で定義されます：

ここで、$d_k$ はKeyベクトルの次元数です。内積アテンション（Dot-product attention）は、加算アテンション（Additive attention）と比較して高度に最適化された行列乗算コード（BLAS/cuBLAS）で実装できるため、実効速度と空間効率に優れます。しかし、$d_k$ が大になると内積値 $q \cdot k = \sum_{i=1}^{d_k} q_i k_i$ の分散が $d_k$ に比例して増大します（平均0、分散1の独立な確率変数を仮定した場合、和の分散は $d_k$）。これによりSoftmax関数の入力値が極端に大きくなり、勾配がほぼゼロになる領域（Saturation region）にトラップされます。これを補正するため、スケール因子 $1/\sqrt{d_k}$ で除算して分散を1に正規化しています。

1. Multi-Head Attentionの射影空間

単一の $d_{\text{model}}$ 次元アテンションを行う代わりに、入力を $h$ 個の異なる低次元部分空間（$d_k = d_v = d_{\text{model}} / h$）へ線形射影します：

$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W^O$

ベースモデルでは $d_{\text{model}} = 512, h = 8, d_k = d_v = 64$ を採用。パラメータ行列は $W_i^Q \in \mathbb{R}^{512 \times 64}, W_i^K \in \mathbb{R}^{512 \times 64}, W_i^V \in \mathbb{R}^{512 \times 64}, W^O \in \mathbb{R}^{512 \times 512}$ です。各ヘッドが文法構造、共参照関係、局所文脈など異なる表現空間に独立してアテンションを払うことが可能になります。

1. Encoder-Decoderスタックと残差接続

EncoderとDecoderはそれぞれ $N = 6$ の同一層のスタックで構成されます。各層は以下の2つのサブレイヤーを持ちます：

1. Multi-Head Self-Attention機構
2. Position-wise Feed-Forward Network: $\text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2$（内層次元 $d_{ff} = 2048$）

各サブレイヤーの出力は残差接続とLayer Normalizationで保護されます：

$\text{Output} = \text{LayerNorm}(x + \text{Sublayer}(x))$

また、過学習を防ぐため、各サブレイヤーの出力および埋め込み層の加算後にドロップアウト（$P_{\text{drop}} = 0.1$）が適用されます。

BaseとBigをWMT 2014で評価し、BLEU、学習時間、推定FLOPsを比較しました。標準設定では8ヘッド、モデル次元512を用い、Bigでは表現幅などを増やしています。 Encoder/decoderは各6層で、position-wise FFNは (d_{ff}=2048)、residual dropoutは0.1である。Adamと4000-step warmupを含むinverse-square-root schedule、label smoothing 0.1を用いるため、計算効率をattention演算だけの効果としては分離できない。

WMT 2014 En–De/En–FrでBLEUを評価し、single-modelおよびensemble baselineと比較した。訓練コストはP100 GPU上のwall-clockとestimated FLOPsで比較し、Penn Treebank constituency parsingを追加評価した。

WMT 2014 英独タスクにおいて28.4 BLEUを達成。従来の最良アンサンブル（26.3 BLEU）を2.1ポイント上回る著者らが報告した性能

WMT 2014 英仏タスクにおいて41.8 BLEUの単一モデル当時の最高値を更新

英仏Bigモデル（パラメータ数213M、d_model=1024、h=16）の訓練コストは1.8×10^19 FLOPs。先行のGNMT+RL（2.5×10^20 FLOPs）と比較して約1/14の計算資源で高精度を達成

Ablation実験（Table 3）において、アテンションヘッド数hを8から過度に増減させると性能が低下すること、Key次元dkのスケーリングの重要性を定量的に報告

Table 3ではヘッド数、Key/Value次元、モデルサイズ、dropoutなどを変更しています。結果は各部品の単独効果を完全分離するものではありませんが、設計選択の感度を示します。

観測された差はself-attention単独ではなく、multi-head projection、positional encoding、residual/Post-LN、label smoothing、learning-rate scheduleを含む構成全体に帰属しうる。Table 3は感度を示すが、全要素の因果効果を独立に同定する設計ではない。

Self-attentionは系列長 (N) に対して計算・attention matrixの記憶量が (O(N^2)) となる。演算自体は順序を持たないためpositional encodingが必要である。評価の中心はWMT 2014 En–De/En–Frであり、構文解析以外の領域や大規模事前学習への外的妥当性は原論文から直接は決まらない。デコーダの生成は自己回帰的で、学習時の並列性が生成時にそのまま得られるわけでもない。

長系列での二次計算量、位置表現の選択、autoregressive decodingの逐次性、翻訳外での外的妥当性、各構成要素の独立寄与は原論文の射程外に残る。

翻訳精度と著者らが報告した学習計算量を合わせると、系列モデルの設計では逐次状態を持つことより、並列化可能性と位置間パス長を優先する判断が成り立ちます。この判断を他領域へ広げるには、系列長の二次コスト、位置表現、自己回帰デコードを含む条件ごとの評価が必要です。

recurrence/convolutionを除いたself-attention encoder–decoderが、sequence transductionで品質、並列性、短いmaximum path lengthを両立できるかを検証する。

入力をQuery、Key、Valueの線形射影空間へ写像し、Scaled Dot-Product Attentionを複数ヘッドで並列適用するMulti-Head Attentionを採用。残差接続とLayer Normalizationを備えたEncoder-Decoderスタックを構築。

著者らはEn-Deで28.4 BLEU、En-Frで41.8 BLEUを報告した。Transformer BigのEn-Fr訓練は8 P100で3.5日、表中の推定計算量は主要baselineを下回る。

主要な制約はattention matrixの (O(n^2)) time/space、self-attentionの順序不変性を補う位置表現への依存、autoregressive decoderのsequential generationである。直接評価はWMT 2014翻訳とPenn Treebank parsingに限られ、後続のdecoder-only pretraining、長文、画像・音声への一般化は原論文の実験的射程外である。

WMT翻訳と構文解析の結果は、当該条件ではrecurrenceを必須の帰納バイアスとしない設計を支持する。計算量とmaximum path lengthを同時に比較する視点は再利用できるが、self-attention単独の因果効果は他の構成要素と分離されておらず、長系列と翻訳外への一般化は追加検証を要する。

recurrence/convolutionを除いたself-attention encoder–decoderが、sequence transductionで品質、並列性、短いmaximum path lengthを両立できるかを検証する。

LSTMやGRUをベースとしたエンコーダ・デコーダモデルに、補助的にアテンションを付加する構成（Bahdanau Attention等）。

再帰および畳み込み演算を撤廃した完全アテンション系列変換モデル

系列内トークン間の最大伝播パス長をO(1)に短縮した大域的依存関係モデリング

高次元キーに対する内積分散を正規化するScaled Dot-Product機構

異なる表現部分空間から多様な言語的特徴を並列抽出するMulti-Head設計

幾何学的位相関係を学習なしで表現するSinusoidal Positional Encoding

モデルの中核をなすのは Scaled Dot-Product Attention である：

ここで内積値を $\sqrt{d_k}$ でスケーリングすることで、高次元空間における内積の分散増大に伴うSoftmax関数の勾配消失（サチュレーション）を防止する。

さらに、単一の注意分布に依存せず、Query、Key、Valueを異なる線形変換行列で $h$ 個の部分空間に射影する Multi-Head Attention を提案：

各層はMulti-Head AttentionとPosition-wise Feed-Forward Network（2層MLP、活性化関数ReLU）から構成され、各サブレイヤーに残差接続とLayer Normalization（Post-LN）を適用する。順序情報を保持するため、異なる周波数の正弦波・余弦波関数によるSinusoidal Positional Encodingを埋め込みベクトルに加算する：

$PE_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d_{\text{model}}})$

WMT 2014 En–De/En–FrでBLEUを評価し、single-modelおよびensemble baselineと比較した。訓練コストはP100 GPU上のwall-clockとestimated FLOPsで比較し、Penn Treebank constituency parsingを追加評価した。

WMT 2014英独タスクで28.4 BLEU（当時の文献最高アンサンブルを2.1 BLEU上回る新記録）

WMT 2014英仏タスクで41.8 BLEU（単一モデルSOTAを更新）

8台のP100 GPUによる3.5日の訓練（1.8×10^19 FLOPs）で英仏Bigモデルを収束させ、先行手法（GNMTの2.5×10^20 FLOPs）比で約1桁低い計算コストを実現

英語成分構文解析（WSJ 23）において、タスク固有の事前調整なしに41.3 F1を記録

原論文が直接支持するのは、指定された翻訳データ・tokenization・BLEU評価と構文解析実験における結論である。後続のfoundation model全般への一般化は歴史的証拠と分けて扱う必要がある。

主要な制約はattention matrixの (O(n^2)) time/space、self-attentionの順序不変性を補う位置表現への依存、autoregressive decoderのsequential generationである。直接評価はWMT 2014翻訳とPenn Treebank parsingに限られ、後続のdecoder-only pretraining、長文、画像・音声への一般化は原論文の実験的射程外である。

WMT翻訳と構文解析の結果は、当該条件ではrecurrenceを必須の帰納バイアスとしない設計を支持する。計算量とmaximum path lengthを同時に比較する視点は再利用できるが、self-attention単独の因果効果は他の構成要素と分離されておらず、長系列と翻訳外への一般化は追加検証を要する。

問題設定は、recurrent state transitionがsequence transductionに必須かという問いである。Self-attentionは各層で全位置を直接接続しsequential operationsを削減する一方、permutation equivariantな演算なのでpositional encodingを要する。さらにTable 1の比較では、self-attentionの優位は系列長が表現次元より短い領域を含む条件に依存し、長系列では (O(n^2d)) が支配的になる。

LSTMやGRUをベースとしたエンコーダ・デコーダモデルに、補助的にアテンションを付加する構成（Bahdanau Attention等）。

再帰も畳み込みも撤廃し、入力シーケンス内の全要素間の相関を直接計算する『Self-Attention』のみでネットワークを構築する。

Transformerの数理モデルおよび構成要素の厳密な定義は以下の通りである：

1. Scaled Dot-Product Attentionの数理的定式化

Query行列 $Q \in \mathbb{R}^{n \times d_k}$、Key行列 $K \in \mathbb{R}^{m \times d_k}$、Value行列 $V \in \mathbb{R}^{m \times d_v}$ に対し、注意分布と出力は次式で計算される：

ここで、$QK^T$ の各要素はQueryとKeyの内積であり、系列間の相関強度を表す。$d_k$ が増大すると内積値の分散が線形に拡大し、Softmax関数の入力ベクトルの要素差が極大化して勾配が極小化（$\text{softmax}' \approx 0$）する現象が生じる。本論文では、各要素の平均を0、分散を1と仮定した場合の内積の標準偏差 $\sqrt{d_k}$ による除算（スケーリング）を導入することで、Softmaxへの入力分布の分散を安定化させている。

1. Multi-Head Attentionによる部分空間の直交的抽出

単一の注意機構ではなく、モデル次元 $d_{\text{model}}$ を $h$ 個の部分空間に射影し、並列に注意を計算する：

射影行列は $W_i^Q \in \mathbb{R}^{d_{\text{model}} \times d_k}$、$W_i^K \in \mathbb{R}^{d_{\text{model}} \times d_k}$、$W_i^V \in \mathbb{R}^{d_{\text{model}} \times d_v}$、$W^O \in \mathbb{R}^{h d_v \times d_{\text{model}}}$ である。ベースモデルでは $d_{\text{model}} = 512, h = 8, d_k = d_v = 64$ とし、総計算量は単一ヘッドの $d_{\text{model}}$ 次元アテンションと同等に保たれている。

1. Sinusoidal Positional Encodingの解析的性質

自己注意演算は本質的に置換不変（Permutation Invariant）であるため、トークンの絶対的・相対的位置関係を注入する必要がある。本論文では以下の三角関数を用いた固定位置エンコーディングを採用した：

この定式化により、任意の固定オフセット $k$ に対して、$PE_{pos+k}$ は $PE_{pos}$ の線形関数として表現可能であり（三角関数の加法定理）、未学習の系列長に対しても外挿が容易であるという特性を持つ。

1. 正則化と学習最適化

Residual Dropout: 各サブレイヤーの出力および埋め込み層とPEの加算後に $P_{\text{drop}} = 0.1$ を適用。

Label Smoothing: 交差エントロピー損失に対し $\epsilon_{\text{ls}} = 0.1$ のラベル平滑化を適用（パープレキシティは悪化するがBLEUスコアを向上）。

Learning Rate Schedule: Adam最適化（$\beta_1 = 0.9, \beta_2 = 0.98, \epsilon = 10^{-9}$）を用い、以下の学習率スケジュールを適用：

$lr = d_{\text{model}}^{-0.5} \cdot \min\left(\text{step}^{-0.5}, \text{step} \cdot \text{warmup\_steps}^{-1.5}\right)$

（$\text{warmup\_steps} = 4000$）。

Baseはd_model=512、h=8、d_k=d_v=64で構成される。WMT 2014を中心にBLEU、training steps、wall-clock time、estimated FLOPsを報告し、Big設定では容量と正則化を変更する。

WMT 2014 En–De/En–FrでBLEUを評価し、single-modelおよびensemble baselineと比較した。訓練コストはP100 GPU上のwall-clockとestimated FLOPsで比較し、Penn Treebank constituency parsingを追加評価した。

WMT 2014英独タスクで28.4 BLEUを記録（当時の最高アンサンブル26.3 BLEUを2.1上回る著者らが報告した性能）

WMT 2014英仏タスクで41.8 BLEUの単一モデル当時の最高値を更新

英仏Bigモデル（パラメータ数213M）の訓練コストは1.8×10^19 FLOPsであり、先行研究（MoE: 1.5×10^20、GNMT: 2.5×10^20）と比較して約1/10以下の資源でSOTAを達成

Ablation分析（Table 3）において、アテンションヘッド数hの最適値（h=8〜16）、Key次元dkの正規化効果、ドロップアウト率の感度を厳密に検証

英語成分構文解析（Penn Treebank WSJ 23）で41.3 F1を達成し、系列変換以外の言語構造抽出における高度な転移能力を報告

Table 3はhead数、attention key size、model size、dropout等を比較する。ただし複数設定が連動する比較もあり、各構成要素の因果効果を分離する設計ではない。

観測された差はself-attention単独ではなく、multi-head projection、positional encoding、residual/Post-LN、label smoothing、learning-rate scheduleを含む構成全体に帰属しうる。Table 3は感度を示すが、全要素の因果効果を独立に同定する設計ではない。

主要な制約はattention matrixの (O(n^2)) time/space、self-attentionの順序不変性を補う位置表現への依存、autoregressive decoderのsequential generationである。直接評価はWMT 2014翻訳とPenn Treebank parsingに限られ、後続のdecoder-only pretraining、長文、画像・音声への一般化は原論文の実験的射程外である。

長系列での二次計算量、位置表現の選択、autoregressive decodingの逐次性、翻訳外での外的妥当性、各構成要素の独立寄与は原論文の射程外に残る。

WMT翻訳と構文解析の結果は、当該条件ではrecurrenceを必須の帰納バイアスとしない設計を支持する。計算量とmaximum path lengthを同時に比較する視点は再利用できるが、self-attention単独の因果効果は他の構成要素と分離されておらず、長系列と翻訳外への一般化は追加検証を要する。