Transformer：アテンション機構による言語モデルの再定義

2017年以前の自然言語処理において、機械翻訳の標準的なアプローチは再帰型ニューラルネットワーク（RNN）や、その発展形であるLSTMおよびGRUに基づくエンコーダ・デコーダモデルであった。これらのモデルは文章を先頭から一語ずつ順番に読み込み、過去の文脈をまとめた内部状態（隠れ状態）を次の単語へと渡していく仕組みを採っていた。まずエンコーダが一語ずつ文全体の要約表現を作り、次にデコーダがその要約から訳文を一語ずつ出力していく。

しかし、この逐次処理には構造上の厳しい制約があった。前の単語の計算が終わらなければ次の単語に進めないため、GPUの並列計算能力を活かして全単語を同時に処理することができない。文が長くなるほど計算時間が線形に延び、大規模データによる効率的な学習を阻む主たる壁となっていた。

逐次処理がもたらすもう一つの深刻な問題が、離れた位置にある単語同士の情報伝達の難しさである。RNNでは、文頭の単語の情報が文末に届くまでにすべての中間ステップを経由するため、文が長くなるほど情報が減衰する勾配消失や文脈の希釈が避けられなかった。

実務の例として、契約書や財務報告書の翻訳を考えてみよう。英文中に現れる多義語「bank」は、文脈によって「銀行」とも「河岸・堤防」とも訳せる語である。もし同じ文の数十単語離れた位置に「funds（資金）」や「deposited（預金された）」という単語があれば、「bank」が金融機関を指すことは明らかである。しかし旧来のRNNでは、その手掛かりに到達するまでに情報が薄れ、適切な訳出を行えない問題が頻発していた。畳み込み（CNN）を用いた並列化の試みもあったが、離れた単語を結ぶには多くの層を重ねる必要があり、直接の経路は依然として長かった。

この長距離依存の解消に向けて開発されたのが「アテンション（注意機構）」であった。先行研究（Bahdanauらのアテンション等）では、デコーダが訳語を生成する際に入力文の特定箇所を参照する補助機能として導入され、翻訳精度を向上させた。しかし、モデル自体の骨格は依然としてRNNの逐次計算に依存しており、並列化を阻む根本的な問題は残されたままであった。

そこでGoogle BrainおよびGoogle Researchの研究チーム（Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreitら）は、「系列処理に再帰や畳み込みは本当に必要なのか」と問い直した。アテンションを補助輪としてではなく中心に据え、再帰も畳み込みも排したネットワークを構築できないか。この発想の転換がTransformerの出発点となった。

Transformerの革新は、系列内の全単語ペア間の相関を直接計算する「自己注意（Self-Attention）」の採用にある。従来のRNNのように一歩ずつ状態を運ぶのではなく、あらゆる二位置が距離に関わらずわずか1ステップで情報を交換できるようにした。

この仕組みは「Query（問い合わせ）」「Key（目印）」「Value（内容）」の3要素で整理される。各単語は入力表現から線形変換でこれらを生成する。先の実務翻訳の例では、「bank」が「文脈を探すQuery」を発行し、文中の「funds」や「deposited」が自身の意味特徴を「Key」として提示する。モデルはQueryとKeyの内積から類似度（適合度）を算出し、高い適合度を持つ単語の「Value」を色濃く混ぜ合わせる。これにより、「bank」の表現に離れた金融文脈の情報が直接取り込まれる。

著者らは内積計算を安定させるため「Scaled Dot-Product Attention」を考案した。ベクトルの次元数が大きいと内積値が過大になり、Softmax関数の勾配が極端に小さくなって学習が滞る。そこで、内積をKeyの次元数の平方根で割ることで安定した勾配を維持させた。

さらに、単一の注意機構に頼らず、複数の線形射影空間で並列に注意を計算する「マルチヘッド注意（Multi-Head Attention）」を導入した。原著のBaseモデルでは8ヘッドを用い、あるヘッドが文法関係を、別のヘッドが意味的関連性を捉えるといった多角的な情報処理を可能にした。

ただし、この実務例は直感的な理解のための整理であり、原著の研究実態とは異なる点に注意が必要である。実際の自己注意は、『金融担当』などの役割をあらかじめ人間が割り当てているのではなく、高次元ベクトルの内積と統計的学習によって重みを決める純粋な数学的処理である。また、実際のモデルでは単語ではなくサブワード単位で処理され、位置エンコーディングや全結合層、正規化などと連動して機能する。

再帰を完全に排したことで生じる「語順の消失」という課題に対し、著者らは「位置エンコーディング（Positional Encoding）」を導入した。自己注意は入力の並び順に依存しない順序不変な性質を持つため、異なる周波数の正弦波・余弦波を用いた数値を単語表現に加算し、絶対的・相対的な位置情報を与えた。

モデル全体は6層のエンコーダと6層のデコーダで構成される。エンコーダで文全体の文脈を並列に集約し、デコーダでは先行する生成語に対するマスク付き自己注意と、エンコーダ出力を参照するアテンションを行う。各層内には各位置に同一適用される2層の全結合層（Position-wise Feed-Forward Network）が配置され、さらに残差接続とLayer Normalizationが組み合わされて深層の学習を安定させた。

著者らは提案したTransformerの有効性を検証するため、当時の標準ベンチマークであったWMT 2014の英独翻訳（英語からドイツ語）および英仏翻訳（英語からフランス語）タスクで評価を実施した。評価尺度には、生成訳と人間の参照訳との単語一致度を測る自動評価指標であるBLEUスコアが用いられた。

比較対象には、当時の文献における最先端の単一モデル群に加え、複数モデルを組み合わせて精度を高めたアンサンブルモデルが含まれていた。論文の評価表では、これら先行手法と同一基準で対照が行われている。

論文で報告された結果は明確な優位性を示した。WMT 2014英独翻訳において、Transformerの単一モデル（Big設定）は28.4 BLEUを達成した。これは先行研究の最良アンサンブルが記録した26.3 BLEUを2.1 BLEUポイント上回る数値であった。相対比率ではなく指標上の絶対値として2.1ポイントの差を単一モデルで記録した点に実証的価値がある。

また、英仏翻訳では41.8 BLEUを達成し、当時の文献における単一モデルの最高記録を樹立した。さらに、英仏Bigモデルの学習は8台のNVIDIA P100 GPUを用いてわずか3.5日で完了し、推定計算量は1.8×10の19乗回（FLOPs）であった。これは先行の最良モデル群が必要とした推定計算量の数分の一であり、並列処理による学習効率の向上が実証された。また、翻訳以外の構造抽出能力を測る追加実験としてPenn Treebankの英語構文解析でも、専用調整なしに41.3 F1という良好な結果を報告した。

著者らは構成要素ごとの感度を調べるアブレーション実験も行った。ヘッド数を1、4、8、16と変更した実験では、単一ヘッドやKeyの次元数を小さくしすぎた設定でスコアが低下し、多角的な分割の有効性が確認された。一方、固定の正弦波による位置情報と学習型位置埋め込みの比較では、ほぼ同等の結果が得られたと報告されている。

ただし、この評価が示した事実の境界を見極める必要がある。著者らの証拠が直接支持するのは、指定された翻訳および構文解析の条件において、再帰を用いない設計が高いBLEUと効率的な学習を両立できたという事実である。この成果は自己注意単独によるものではなく、マルチヘッド化、残差接続、Layer Normalization、学習率設定などが一体となった総合的な結果である。また先行手法との計算量比較も文献値に基づく推定であり、同一環境での直接再計測ではない点も留意を要する。

Transformerが後続の研究に与えた最大の遺産は、「自然言語処理には逐次的な状態更新が必要である」という長年の設計前提を転換した点にある。再帰を排してGPUによる高度な並列学習を可能にした設計は、その後の研究の方向性を大きく変えた。

提供された記録に明記されている通り、本作は発表以来12万回以上引用された。言語処理においては、双方向の自己注意を活用したBERTや、自己回帰モデルであるGPTシリーズの誕生へと直接受け継がれた。現代広く使われているGPT-4、Claude、Gemini、Llamaといった主要なフロンティア大規模言語モデル（LLM）は、すべてこのアーキテクチャの直接の子孫であり、共通基盤となっている。

さらに、全要素間の直接相関を計算する設計は、テキストの枠を超えて広がった。画像をパッチに分割して扱うVision Transformer（ViT）、音声認識のWhisper、生命科学でのタンパク質構造予測を行うAlphaFold、そしてロボティクスに至るまで、多様な知能表現の基盤構造として採用されている。

また、原著著者らの研究領域が示すように、大規模モデルの並列分散化や計算効率を高めるMixture of Experts（MoE）、効率的アテンション機構など、モデルを大規模化・効率化する技術が本作を起点に開拓された。Scaled Dot-Product AttentionとMulti-Head Attentionのハードウェア親和性は、計算機の進化と連動しながら深層学習の発展を牽引した。

歴史的影響を評価する上では、原著が提示した成果と、後続の研究によって付加された成果を区別することが欠かせない。2017年の原論文が直接検証したのは特定の機械翻訳と構文解析であり、現代の大規模事前学習やマルチモーダル処理を原著が直接実証したわけではない。

後年の発展は、原著の「再帰を排した自己注意と並列計算」という土台の上に、膨大なデータセットや新たな学習手法が積み重ねられた結果である。原著の功績を正しく捉えるには、その基礎設計の重要性を認めつつも、後続のあらゆる進化を原論文一編のみに帰属させない客観的な視座が求められる。

現代の実務的な観点からTransformerを捉え直したとき、最も明白な構造的制約となるのが系列長に伴う計算量とメモリ消費の増大である。自己注意は全単語ペアを総当たりで照合するため、入力系列の長さNに対して計算量とメモリ消費量が長さの二乗（二次のオーダー）で増大する。

契約書や報告書の翻訳実務を想起すると、短文では問題にならなくても、数百ページに及ぶ文書全体や長大な対話履歴を一度に処理しようとすると、自己注意行列を保持するだけで莫大なGPUメモリが必要となり、計算コストが急増する。今日では様々な効率化手法が研究されているものの、純粋な自己注意が持つ二乗の計算負荷は、アーキテクチャが原理的に内包する代償として現在も重要な課題である。

第二の制約は、語順を自力で認識できない点と、文章生成時における逐次的な処理の残存である。自己注意は順序不変な演算であるため位置エンコーディングが不可欠であるが、学習時よりはるかに長い系列に直面した際に位置関係をどこまで正確に保てるかという外挿性の問題は、原著の時点では未確定であった。

また、「学習時の並列性」と「生成時の速度」を混同してはならない。学習時はマスクを用いて全位置を同時に計算できるが、実際の文章生成（推論）では、直前に自身が出力した単語を条件として一語ずつ順番に生成していく。推論時における逐次処理という本質は旧来のモデルと同様であり、生成速度の制約として現在も引き継がれている。

現代の実務者が留意すべきは、原著の証拠の射程を正確に認識することである。2017年の論文で実証されたのは、適切な設定の自己注意ネットワークが特定の翻訳タスク等で高い精度と学習速度を達成した事実であり、あらゆる課題で無条件に最適であると証明されたわけではない。

実務で技術を採用・評価する際は、「Transformer系だから優れている」という固定観念を排し、扱うデータの系列長に対するメモリ負担、学習時と推論時のコストバランス、固有のタスクにおける実証的な比較を個別に精査する姿勢が不可欠である。