RoFormer：回転位置埋め込み（RoPE）によるTransformerの強化

Transformerの自己注意機構は、入力文中のすべてのトークン（単語や文字などの処理単位）同士の関連度を同時に計算する並列処理に優れています。しかし計算式自体は並び順を区別できず、語順情報がなければ文脈の前後関係を認識できません。

ここで、業務委託契約書をAIで精読する場面を考えます。冒頭の「解約条件」と後方の「例外規定」を対応づける際、どちらが先に置かれどれほど離れているかの順序や距離は、規定の適用関係を判断する重要な構造的手がかりとなります。

ただしこの比喩には境界があります。実務の契約書では条項の法的な意味内容が本質であり、近い条項が必ずしも関連するとは限らず、遠い条項が例外を定めることもあります。位置は手がかりに過ぎず、意味理解そのものを代替しません。

初期のTransformerでは、系列内の何番目かを表す「絶対位置埋め込み」が用いられました。これには正弦波を用いる方式と学習可能なベクトルを用いる方式があり、いずれも入力層において単語ベクトルへ位置ベクトルを単純に足し合わせる構造でした。

この方式は実装が簡潔な反面、位置番号が入力段階で合成されるため、その後の注意スコア計算でトークン間の「相対的な距離関係」が直接現れない弱点がありました。

契約書の例で言えば、解約条項と例外規定を比較する際、各条項の絶対番号が混ざった表現同士を内積するため、二つの条項が何条分離れているかをモデルが各層の重みを通じて間接的に推測しなければならず、学習と表現の効率に負担が生じていました。

言語理解では「文書の何文字目か」という絶対順序よりも「二つの語がどれだけ離れているか」という相対距離が重要であるため、相対位置に着目した手法（T5やALiBiなど）が研究されました。これらは注意スコアの行列に対し、トークン間の相対距離に応じたバイアス項や参照テーブルを加算する仕組みです。

しかし当時の相対位置手法には実用上のトレードオフがありました。距離に応じたバイアス項を外部から足し合わせる設計は、注意行列に応じた追加のメモリ消費と計算負荷を伴いました。さらに計算手順を変更するため、線形自己注意などの派生型と統合しにくく、系列長変更時の柔軟性にも課題がありました。

こうして、入力が単純だが距離を直接捉えにくい絶対位置と、距離を扱えるが計算負荷を伴う相対位置の二者択一が存在していました。

この二者択一を打破したのが、Zhuiyi TechnologyのSu Jianlin氏らがRoFormer論文で提案した「回転位置埋め込み（RoPE）」です。RoPEの独創的な着想は、位置情報を入力層で足すのではなく、自己注意の内部で計算されるQuery（クエリ）とKey（キー）のベクトルに対し、位置に応じた幾何学的な回転を直接適用する点にあります。

具体的には、各注意ヘッドのベクトルを二次元ずつの組に分割します。そして先頭からm番目の位置にあるトークンに対しては、その二次元平面上で位置mに比例した角度だけベクトルを回転させます。

さらに二次元の組ごとに回転の速さ（周波数）を変え、素早く回転する成分で局所的な隣接語順を捉え、ゆっくり回転する成分で大域的な広範囲の距離を捉えることで、きめ細かな語順と長大な距離を一つの空間で両立させました。

RoPEの中核は、クエリとキーの内積を計算した際に生じる美しい代数的性質です。自己注意では、あるトークンが別のトークンへ向ける関心の強さを、クエリとキーの内積によって計算します。

二次元平面上において、位置mで角度mだけ回転させたベクトルと、位置nで角度nだけ回転させたベクトルの内積を計算すると、回転の性質により絶対位置mとnが相殺されます。その結果、計算結果には角度の差である「nからmを引いた差」、すなわち二つのトークン間の「相対距離」に応じた効果のみが自然に残るのです。

モデルの実装上は各トークンの絶対位置に応じた回転を施すだけでありながら、注意計算の現場では相対位置だけを測っているかのように振る舞います。追加のバイアステーブルを保持することなく、絶対位置の入力から明示的な相対位置依存性を導き出しました。なお、内容を担うValueベクトルには回転を施しません。

RoPEは、トークン間の相対距離が離れるにつれて内積の値が自然に減衰していく特性も備えています。一般に言語では、近接する単語同士は強く結びつき、遠く離れた単語同士の結びつきは弱まる傾向があります。RoPEは周波数の組み合わせにより、この距離に応じた自然な減衰を内積演算の中に直接誘導します。

契約書の例に戻ると、第5条の解約条件と第28条の例外規定の比較において、内積には両者の間隔に応じた回転差が現れます。同じ条項内の文言であれば角度差が小さく高い親和性が保たれ、離れた条項間では長距離減衰が働くため、文脈上の適合性が特に強い語だけが注意を引き合います。

ただし、回転が反映するのは幾何学的な距離差であり、条項の法的効力や優先関係をモデルが理解するわけではありません。位置は距離の物差しを提供するものに過ぎず、意味理解と同一視してはなりません。またRoPEは乗算的な回転であるため、線形自己注意への適合性も維持されます。

著者らはRoPEの有効性を検証するため、RoPEを組み込んだTransformerである「RoFormer」を構築し、複数の自然言語処理課題で評価を行いました。評価対象には、言語モデルとしての基礎能力を測る事前学習課題（パープレキシティ）、一般的な短文分類、そして長大な文脈理解を要する長文分類が含まれました。

比較対象（ベースライン）には、標準的なTransformerや当時の代表的モデルであるBERTが据えられました。これらに対し、従来の絶対位置埋め込み（正弦波および学習可能）や既存の相対位置表現を用いた構成と性能を突き合わせ、位置表現の違いによる影響を検証しました。

特に長文処理の検証には、中国語の法律文書を対象とした「CAIL2019」の長文分類ベンチマークが使われました。多数の条文や事実関係が長文中に並ぶデータであり、契約書精読の例のように、離れた記述の位置関係を扱う能力が試される環境でした。

論文において著者らは、RoFormerが複数の課題でベースラインを一貫して上回る性能を示したと報告しました。特に注記すべき具体的な成果は、CAIL2019の長文分類において、BERTとの比較で分類精度が1.5ポイント以上向上したという報告です。

この数値を読む際は、相対的な伸び率ではなく、正解率スコアの絶対的な差である「パーセントポイント差」として理解する必要があります。法律文書のような長文タスクにおいて、位置埋め込みの変更によって1.5ポイント以上の確実な差がついたことは、内積に相対位置を直接組み込む設計の実効性を支持する根拠となりました。

また言語モデリングにおいても良好なパープレキシティが報告され、著者らは従来の相対位置バイアスのような計算の停滞を招かず、計算効率と頑健性を高い水準で両立できたと主張しています。

原論文の実験が立証したのは、クエリとキーへの回転適用によって内積に相対位置依存性を持たせる設計が、論文内の設定下で既存手法を上回る実用的な性能向上をもたらすという事実です。複雑な追加テーブルを用いずに長文分類で良好な成果を収めた点は、手法の実用価値を示しました。

一方で、この評価が立証できていない境界も存在します。第一に、CAIL2019の長文分類で好成績を収めたことは、学習時より長い未知の系列長へ安定して推論できる「外挿性」を保証するものではありません。学習範囲内での長文処理と、未知の長さへの外挿は異なる課題です。

第二に、提供された記録からは、回転周波数の設定や各要素を個別に切り離す厳密なアブレーション実験の詳細が十分に確認できません。したがって、改善のどこまでが回転の数理構造そのものによるもので、どこまでが学習条件によるものかを完全に分離して結論づけることはできません。

RoPEの歴史的展開で注目されるのは、その出発点がSu Jianlin氏の個人ブログ「科学空間」であった点です。複素数平面の幾何学を活用した簡潔な着想は、2021年4月にarXivへ投稿され、後に学術誌Neurocomputing 2024に掲載されました。

コミュニティの反響は大きく、Hugging Faceの論文ページでは210件のUpvotesを獲得しました。回転行列の内積という数理的着想の簡潔さと、計算効率を損なわず相対位置を導く実用性が評価されました。

そして最大の歴史的影響は、その後のオープンソースLLMにおける広範な採用です。MetaのLLaMAシリーズが位置表現としてRoPEを採用したことを契機に、Mistral、Qwen、Gemmaといった主要なオープンウェイト言語モデルの多くが標準的な設計としてRoPEを組み込みました。個人ブログ発の数理的工夫が、現代の主要なオープンモデル群を支える基盤技術へと定着した事例です。

RoPEがもたらした最大の転換は、言語モデルの位置表現に対する設計の合意を再定義した点です。RoPE登場前は、実装が容易な絶対位置と表現力の高い相対位置の間で妥協が模索されていました。しかしRoPEにより、「入力時は絶対位置の角度を与え、内積の段階で自然に相対距離を作用させる」というアプローチが、計算効率と表現力を兼ね備えた有力な設計規範として確立されました。

ただし、この影響を評価する際も記録に基づく境界を保つ必要があります。主要オープンウェイトLLMへの広範な採用は、特定のオープンモデル群における有力な実績を示すものですが、これが将来にわたる唯一の解であるとか、他の一切の位置表現を排除するものであると証明されたわけではありません。記録に裏付けられた採用事実を評価しつつ、過度の一般化を避ける姿勢が肝要です。

現代の実務的視点からRoPEを見つめ直すと、第一の制約は「学習長を超えた系列に対する外挿性」です。原論文では系列長の柔軟性が長所とされましたが、これは任意の長さで精度が維持されることを意味しません。

モデルが学習時に経験した系列長を大幅に超える入力を受けると、トークンのクエリやキーは未経験の回転位相に突入します。回転は周期性を持つため、極端に離れた位置にあるトークン同士が、周期の巡回によって近い位置と混同される位相の曖昧さが生じる懸念があります。

契約書の例で言えば、10ページで学習したモデルに100ページの文書を読ませると、回転針が周回してしまい、冒頭の解約条件と末尾の例外規定の距離感を正確に識別できなくなるリスクに相当します。現在では位置補間などの後続手法が開発されていますが、これらは原論文の後に登場した追加技術であり、2021年のRoFormer単体で長系列の外挿が解決されていたわけではありません。

実務で最も混同されやすい第二の限界は、「RoPEを導入しても、自己注意の計算量ボトルネックそのものは解消されない」という点です。

通常の密な自己注意では、トークン数が増えるにつれて全トークン間の組み合わせを調べるため、計算時間とGPUメモリ消費が系列長の二乗規模で増大します。RoPEが変革したのは内積時の位置の表し方であり、全トークン同士を比較する計算構造自体を軽くするものではありません。「RoPE採用モデルだから長大な契約書を無制限に低コストで処理できる」と期待するのは誤りです。

また、RoPEはクエリとキーにのみ回転を施し、Valueやフィードフォワード層には適用しない非対称な構造を持ちます。さらに記録では、特定ハードウェアや分散構成への依存性、極限スケールでのハイパーパラメータ調整の難しさも指摘されています。理論的な簡潔さの一方で、実運用にはインフラ面の課題が残ります。

これらの制約を踏まえ、現代の技術選定者がRoPEから得るべき普遍的教訓は、「位置情報を外付けの付加項とするのではなく、注意機構の中核演算である内積の幾何学的性質と統合する」という設計思想の有効性です。

そして、自社業務（契約書や社内文書の解析など）にモデルを選定する実務者が確認すべき証拠は以下の点にあります。

第一に、ベンチマークの総合点だけでなく、自社で扱う文書が「モデルの学習長に収まっているか、それを超えているか」を区別して精度を検証することです。第二に、長文処理に伴うGPUメモリ消費や応答遅延が許容範囲に収まるかを実環境で測定することです。

RoPEがもたらした恩恵を正しく活かすには、数理的な工夫を理解すると同時に、自己注意本来の計算限界や外挿の前提条件を冷静に見極める姿勢が不可欠です。