RoFormer：回転位置埋め込み（RoPE）によるTransformerの強化

足し算から「回転」へと発想を転換したことで、AIが数千〜数万文字の長い文脈を自然に理解できるようになり、現代の大規模言語モデルの長文読解能力を決定づけました。

・絶対位置の回転変換を施すだけで、内積演算時に相対位置情報が自然に創発する数学的メカニズム

RoPEは、単語の内部表現を文中の位置に応じて少しずつ回転させます。二つの単語を比べると、回転の差がそのまま位置の差を表すため、何語離れているかを注意機構へ伝えられます。

この章では、この関係から何を言えるかに注目します。

著者は、次の共通テストや課題で結果を報告しています。

・RoFormerとして長文共通テスト（ベンチマーク）（CAIL法学文書等）で従来のBERTや全結合モデルを明確に凌駕

・MetaのLLaMA、Mistral、DeepSeek、Qwenなど、現代のほぼすべての主要フロンティアオープンLLMに標準採用

・訓練時よりもはるかに長い文章を入力すると、一度も経験したことのない回転角度が現れるため、そのままでは位置関係を見失います（周波数スケーリングなどの補間技術が必要）。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。この結果は、位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。ただし、注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です

Transformerは単語を一度に処理するため、語順を別の方法で伝える必要があります。この研究は、各単語の場所を保ちながら、二つの単語がどれだけ離れているかを注意機構へ直接反映できるかを問いました。

絶対位置を足し算する方法は各単語の場所を表せますが、二語の距離を直接は表しません。既存の相対位置方式は距離ごとの情報を注意の計算へ加えます。RoPEは位置に応じた回転から距離が現れる別の方法を提案しました。

・絶対位置変換の直交内積が相対位置の関数となる数理条件（Cauchy-Riemann方程式）の解出

・付加的な学習で調整する数値（パラメータ）やメモリ消費を伴わないゼロコストな相対位置表現の構成

RoPEは、単語の内部表現を文中の位置に応じて少しずつ回転させます。二つの単語を比べると、回転の差がそのまま位置の差を表すため、何語離れているかを注意機構へ伝えられます。

この章では、この関係から何を言えるかに注目します。

著者は、次の共通テストや課題で結果を報告しています。

・RoFormerとしてBERTと同等規模で比較し、長文テキスト分類や機械読解タスクで一貫して優れた精度を達成

・MetaのLLaMAシリーズ（7B〜405B）の基幹位置エンコーディングとして全面採用され、世界中のLLM開発の標準となった

著者は、次の共通テストや課題で結果を報告しています。

・NTK-awareスケーリングやYaRNなどの周波数補間技術と組み合わせることで、訓練時の長さを数倍〜数十倍に拡張できる柔軟性を立証

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・単語間の距離が離れるにつれて自然に結合度が減衰する「長距離減衰特性（Long-term Decay）」の内包

・周期的な三角関数を用いているため、訓練時の最大長を超えた未知の位置（外挿領域）では、回転角度が一周して過去の位置と混同する現象が起きる（補間技術の併用が必須）。

・注意機構のQueryとKeyにのみ適用されるため、ValueやFeed-Forward層には直接的な位置情報が伝播しない設計となっている。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。同じ傾向が対象の課題でも確認できるなら、位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。判断の前に、注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です

RoPEがなければ、現代のLLMが誇る『128k文章を分けた単位（トークン）の長文読解』や『100万トークンの文脈処理』は存在し得ませんでした。従来の加算型位置埋め込みが長文外挿において崩壊したのに対し、RoPEは周波数空間の幾何学的補間（NTK-aware, YaRN, LongRoPE）を可能にし、文脈長拡張の理論的基盤を提供し続けています。

従来の絶対位置方式は各場所の番号を入力へ足し、相対位置方式は単語間の距離に応じた情報を注意の計算へ加えます。RoPEは、単語の内部表現を位置に応じて回転させ、二つの回転の差から距離を表します。この章では、原論文が示した仕組みと評価範囲に注目します。

RoPEは、単語の内部表現を二つずつ組にし、文中の位置に応じて回転させます。注意機構が二つの単語を比べると、回転角の差から単語間の距離が表れます。位置番号を意味表現へ単純に足す方法とは、情報の混ぜ方が異なります。

RoPEの数理構造と構成メカニズムは以下の3つの要点に集約されます。

RoPEは、単語の内部表現を文中の位置に応じて少しずつ回転させます。二つの単語を比べると、回転の差がそのまま位置の差を表すため、何語離れているかを注意機構へ伝えられます。

この章では、この設計が各情報をどう結び付けるかに注目します。

RoPEは、単語の内部表現を文中の位置に応じて少しずつ回転させます。二つの単語を比べると、回転の差がそのまま位置の差を表すため、何語離れているかを注意機構へ伝えられます。

この章では、この仕組みをどの条件で確かめたかに注目します。

著者は、次の共通テストや課題で結果を報告しています。 データセット、指標、比較対象をそろえて読む必要があります。

・中国語法学文書データセット（CAIL2019）等の長文タスクにおいて、標準BERT比で大幅な精度向上と長文理解力を実証

・LLaMA、LLaMA 2、LLaMA 3（Meta）、Mistral 7B（Mistral AI）、DeepSeek-V2/V3（DeepSeek）、Qwen 2.5（Alibaba）など、世界のトップオープンモデルの100%が採用

著者らは、短い文章の分類、長い法律文書の分類、質問応答などでRoFormerを既存の位置表現と比較し、複数の課題で改善を報告しました。これは論文内のモデルとデータで得られた結果であり、あらゆる長さでの優位を示すものではありません。

既存の記述で個別の除去実験が確認できない要素については、各部品の寄与を切り分けられません。失敗条件としては、後述の制約を同時に見る必要があります。

RoPEは、単語の内部表現を文中の位置に応じて少しずつ回転させます。二つの単語を比べると、回転の差がそのまま位置の差を表すため、何語離れているかを注意機構へ伝えられます。

この章では、この関係から何を言えるかに注目します。

報告された差は提案手法だけでなく、データ、モデル規模、計算条件、比較対象の違いを含む可能性があります。したがって、ここで支持されるのは論文の評価設定内の結論です。

注意機構そのものは、文章が長くなるほど単語どうしの組合せが急増します。RoPEは位置の表し方を変えますが、この計算量を解消しません。また、学習時よりはるかに長い文章で回転をどう延長するかは、原論文だけでは十分に確かめられていません。

残る問いは、学習時より長い文章でも距離の手がかりが保たれるか、回転の速さの選び方が言語や課題で変わるかです。追試では、同じモデルで位置表現だけを替え、短文と長文を分けて比べる必要があります。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。ここから得られる示唆には追加検証が必要です。位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。一方で、注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です。次に見るべき証拠は、条件を変えた追試と失敗例です。

LLaMA、Mistral、DeepSeek、Qwen等を含む現代の大規模言語モデルにおいて標準採用され、長文コンテキスト拡張の数学的基盤となっています。

隠れ層の2次元ペアに対し、位置 $m$ に応じた直交回転行列 $R_{\theta_i, m}$ を乗算。内積 $\langle R_m q, R_n k \rangle$ の展開により、相対位置 $(m-n)$ に依存する項を抽出。

・絶対位置の局所直交変換から相対位置の内積が導出される数学的示し

著者報告の結果は次の評価条件に基づきます。

・RoFormerとして長文法学文書ベンチマークで従来のTransformerモデルを凌駕

・主要オープンLLM（LLaMAシリーズ、Mistral、Qwen等）における事実上の100%採用実績

・訓練長を超過する外挿領域における高周波位相の破綻（NTK/YaRN補間が必須）。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。したがって、対象条件が近い場合は、位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。ただし、注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です

推論時のKVキャッシュ構造を乱すことなく相対位置関係をモデル化できるため、現代のデコーダ専用LLMの広く使われるスタンダードとして定着しました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

推論時のKVキャッシュ構造を乱すことなく相対位置関係をモデル化できるため、現代のデコーダ専用LLMの広く使われるスタンダードとして定着しました。

・絶対位置の直交回転による相対位置内積の厳密な定式化

・メモリ消費ゼロ、計算量 $O(d)$ の高効率な要素積カーネル構成

効率的な構成アルゴリズム：

1. 要素積による回転計算: 行列積を用いず、$R_{\Theta, m} x = x \odot \cos(m\Theta) + \tilde{x} \odot \sin(m\Theta)$（ここで $\tilde{x} = [-x_1, x_0, -x_3, x_2, \dots]$）として $O(d)$ で直接計算。
2. 周波数配置: 低周波から高周波までの帯域を指数的に割り振り、近傍の構文関係から長距離のトピック関係までを多角的に表現。
3. アテンション統合: FlashAttention等の融合カーネル内でQ/K生成直後にインプレース適用可能。

著者報告の結果は次の評価条件に基づきます。

著者報告の結果は次の評価条件に基づきます。

・後続のNTK-aware RoPEスケーリングやYaRNにより、コンテキスト長を容易に32k〜128kへ拡張可能であることを実証

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・長距離におけるアテンション重みの理論的減衰特性（Long-term Decay）の実証

・コンテキスト長を拡張する際、高周波帯域の位相情報が圧縮されることで局所的な単語順序の識別能が低下するトレードオフがある。

・Valueベクトルには位置情報が付与されないため、位置に依存した表現の直接的な変換はFFNの非線形性に依存する。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。この観察が自分のデータと計算条件でも保たれるなら、位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要ですので、同じbaselineとmetricでの比較が前提です。

Transformerの自己注意は入力順を単独では表さないため、位置情報を与える必要があります。RoPEが置く前提は、QueryとKeyの変換後の内積を、二つの位置そのものではなく位置差に依存させられることです。

絶対位置埋め込みは各位置の表現を入力へ加えます。既存の相対位置方式はattention scoreへ距離別の項を加えます。RoPEは、絶対位置で指定した回転をQueryとKeyへ適用し、その内積から相対位置差が現れる構成を選びます。

各attention headのQueryとKeyを2次元ずつの組に分け、位置に比例する角度で回転します。二つの回転後ベクトルの内積では共通の絶対角が相殺され、回転角の差、すなわち相対位置だけが残ります。Valueには同じ回転を適用しません。

2次元成分に対する位置 $m$ の回転を $R_m$ とすると、位置 $m,n$ のQueryとKeyの内積は $(R_m q)^T(R_n k)=q^T R_{n-m}k$ です。直交回転の性質 $R_m^T R_n=R_{n-m}$ により、scoreが相対offsetへ依存します。次元ごとに異なる周波数を使い、短距離と長距離の関係を同時に表します。

著者らはRoPEをRoFormerのself-attentionへ組み込み、言語モデル、短文分類、長文分類など複数の自然言語処理課題で評価しました。比較対象には絶対位置埋め込みと既存の相対位置表現が含まれます。原論文の実験条件を越える長さへの拡張は、この評価とは別問題です。

評価は、同種のモデルで位置表現を替えたときのperplexityや分類精度を比較します。この設計はRoPEだけの寄与を見やすくしますが、データセット、モデル規模、学習長の範囲内の比較です。長文での改善と、未学習長への外挿性能は区別する必要があります。

著者らは複数の課題でRoFormerが比較対象を上回る結果を報告しました。既存データに記載されたCAIL2019の長文分類では、BERTとの比較で1.5ポイント以上の精度差が報告されています。これらは原論文内の著者報告であり、後続モデルでの採用実績を評価結果としては扱いません。

既存資料からは、回転周波数や各設計要素を一つずつ除いた詳細なアブレーションを十分に確認できません。そのため、改善の全てを回転操作だけへ帰属させることはできません。失敗条件として、学習長を越える入力と、長文時の自己注意コストを分けて検証する必要があります。

比較結果には位置表現だけでなく、事前学習、最適化、モデル構成の差が影響し得ます。また、長文データでの精度改善は、任意の未学習長へそのまま外挿できることを意味しません。支持されるのは、論文が試した設定で相対位置を回転として表せるという結論です。

RoPEは位置表現を変えますが、通常の自己注意が系列長の二乗に比例する計算とメモリを要する問題は解消しません。学習時より長い系列では、未経験の回転位相を使うため性能が保たれる保証もありません。既存資料は、この外挿範囲を十分に特定していません。

学習長を越えたとき、どの周波数成分から性能が崩れるのか。データ、モデル規模、学習長を固定して位置表現だけを替えた場合にも改善が保たれるのか。追試では短文・学習範囲内の長文・範囲外の長文を分け、精度と計算費用を同時に報告する必要があります。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。結果から得られる示唆は次の通りです。位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。ただし、この観察だけで因果関係までは確定できません。注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です。再現実験では条件を固定し、分布外データと失敗率を併記すべきです。

追加のパラメータを必要とせず、計算コストゼロで相対位置認識と長文適応性を両立し、現代LLMの位置表現の広く使われるスタンダードとなりました。

2次元部分空間ごとに回転行列 $R_{\Theta, m}$ を乗算し、複素内積の性質を用いて相対位置 $(m-n)$ に依存する注意スコアを生成。

・絶対位置の直交変換が相対位置の内積を生み出す数学的定式化

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・中国語長文読解（CAIL2019）ベンチマークにおける標準BERTに対する優位性の実証

・LLaMA、Mistral、DeepSeek等、主要オープンウェイトLLMにおける網羅的採用

・訓練系列長を超過する極限外挿時の位相曖昧性（補間技術の併用が必要）。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。この結果から得られる示唆は次の通りです。位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。ただし、注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です

計算資源を消費せずに相対位置の表現力を獲得できるため、メモリ帯域律速に直面する現代のデコーダ専用LLMにおいて不可欠の標準技術となりました。

この研究が比べた従来案と課題は、提案の説明では次のように位置づけられています。

計算資源を消費せずに相対位置の表現力を獲得できるため、メモリ帯域律速に直面する現代のデコーダ専用LLMにおいて不可欠の標準技術となりました。

・相対位置保存の内積写像としての一意的な回転変換（RoPE）の導出

・計算量とメモリ消費を伴わないインプレース要素積アルゴリズムの提示

論文の理論と実証：

1. Cauchy-Riemann方程式による解出: ベクトルの内積が相対位置の関数となるための十分条件として回転変換を一意に導出。
2. 要素積による構成: 行列積を用いず、三角関数の要素積（Hadamard Product）により $O(d)$ で高速演算。
3. 長距離減衰特性の示し: 相対距離 $|m - n|$ が拡大するにつれ、内積の上限が自然に減衰することを理論示し。

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・CAIL2019（中国語法律文書判定）において、標準BERTモデルに対して有意な精度向上を達成

・MetaのLLaMAモデル群（7B〜405B）の基幹位置エンコーディングとして公式採用

以下は論文で報告された評価結果であり、独立検証済みの値ではありません。

・周波数補間（Position Interpolation, YaRN）により、最小限の微調整で文脈長を32k〜128kへ拡張可能であることを立証

この結果が直接支えるのは、論文が評価した課題と比較条件です。別の用途へ広げる場合は、同じ傾向が保たれるかを改めて測る必要があります。

・アテンション重みの幾何学的長距離減衰特性の理論解析

・訓練長を超える極長文への単純外挿における高周波帯域の位相崩壊（周波数補間手法の適用が必要）。

・Valueベクトルには直接作用しないため、位置依存の非線形特徴変換はFFN層に委ねられる。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。このevidenceが同一protocolで再現される範囲では、位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。ただし、注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です。reported setting外への一般化には追加評価が要ります。

positional informationを持たないself-attentionはpermutation equivariantである。本論文は、内積を $g(q,k,m-n)$ と書ける写像 $f(q,m),f(k,n)$ を求める。形式的な主張はQuery–Key scoreに関するもので、Transformer全体の位置不変性を主張しない。

absolute positional embeddingは各indexへ表現を割り当て、既存のrelative-position methodはoffset依存項をattention logitsへ加える。RoPEはabsolute indexをorthogonal transformationで符号化し、Query–Key内積の代数的性質からrelative-position dependenceを得る。

RoPE partitions each attention head into 2D subspaces and applies a position-dependent block-diagonal rotation to Query and Key. The dot product between rotated vectors depends on relative offset because the absolute rotations compose as a difference. Value is not rotated in this formulation.

For position $m$, let $R_{\Theta,m}^d$ be the block-diagonal rotary matrix. Then $(R_{\Theta,m}^d q)^T(R_{\Theta,n}^d k)=q^T R_{\Theta,n-m}^d k$, using orthogonality and the group property of the rotations. The frequency schedule assigns distinct $\theta_i$ to each 2D pair, yielding multi-scale relative-position dependence without learned position parameters.

RoPEはRoFormerのpositional mechanismとして、language modeling、短文分類、長文分類で評価された。baselineにはabsoluteおよびrelative positional encodingが含まれる。model scale、training sequence length、data、optimizationが実験範囲を定め、後続のcontext-extension手法は原論文のevidenceに含めない。

比較はtaskと概ね同じmodel familyを保ち、positional encodingを変更してperplexityまたはclassification accuracyを測る。この設計はbenchmark内の比較を支えるが、trained context lengthを越えるextrapolationやpre-trainingとの全interactionを単独で確定しない。

著者らは複数taskでpositional-encoding baselineを上回る結果を報告した。既存データのCAIL2019 long-document classificationでは、BERT比で1.5 accuracy points以上の改善が記録されている。これはpaper setting内のauthors-reported resultであり、後続モデルのRoPE採用をevidenceとはしない。

利用できるsource representationには、frequency choiceとrotary variantを網羅するcomponent-wise ablationがない。したがって各design choiceの寄与は分離できない。training length外のfailureとdense attentionのquadratic costは別々に検証する必要がある。

benchmark差にはpositional encoding以外にpre-training、optimization、architectureが影響し得る。long-document accuracyの改善も任意長へのextrapolationと同義ではない。支持される狭い結論は、rotary transformationが所定のrelative-position propertyを満たし、評価したRoFormer settingで機能したことである。

RoPEはdense self-attentionのquadratic time/memory complexityを変えない。trained sequence length外では学習していないrotation phaseを使い、primary-source materialは信頼できるextrapolation boundaryを確定していない。変換対象はQueryとKeyであり、ValueやFFNではない。

未学習範囲のrotation phaseで性能がどう変わるか、frequency scheduleへどの程度敏感か、data・scale・optimizationを統制しても利得が残るかがopen questionである。evaluationはinterpolation、学習範囲内のlong context、範囲外extrapolationを分ける必要がある。

RoFormerは複数の文章理解課題で既存の位置表現を上回る結果を報告しました。この観測から得られる示唆は次の通りです。位置の差を注意機構の内積へ組み込む設計は、位置表現の比較候補になります。ただし、代替要因は残ります。注意計算の二乗コストは残り、学習時より長い系列への外挿は別の検証が必要です。確認すべきなのは、同一条件での再現、ablation、distribution shift下の結果です。