BERT：深層双方向Transformerによる言語理解のための事前学習

2018年秋にBERTが登場する前、自然言語処理では解決したい課題ごとに専用のモデル構造を個別に設計することが通例であった。文章分類、文間推論、質問応答など、用途ごとに異なる接続構造や注意機構が考案されていたのである。

ここで、顧客からの問い合わせ対応を継続的な具体例として考えてみよう。「契約を更新せず、今月で終了したい」というメッセージを受け取ったとする。この文から「解約希望」を分類するモデル、「今月で終了」を抜き出す抽出モデル、「継続意志」を判定する推論モデルを作る場合、当時は目的ごとに異なるモデルを別々に設計し学習させていた。この個別設計のアプローチは、多大な労力とデータを要する負担となっていた。

この負担を減らすため、ラベルのない文章から汎用特徴をあらかじめ学ぶ事前学習の試みが進められた。初期のWord2VecやGloVeといった固定的な単語埋め込みは、文脈による意味変化を扱えず、「更新」という語に常に同一の表現を割り当てる限界があった。

その後、文脈に応じた動的表現を作るため、双方向LSTMを浅く結合したELMoや、Transformerを用いたOpenAI GPT（GPT-1）が登場した。特にGPT-1は、事前学習したモデルを下流タスクで微調整する枠組みを示した。しかし当時の言語モデルは、文章を左から右へ一方向にしか読まない自己回帰モデルであった。文章生成には自然だが、文全体の意味を理解する用途では、後方の文脈を参照できない単方向性の制約が表現力を制限していた。

言葉の意味を正確に把握するには、前にある語（左側）だけでなく、後ろに続く語（右側）も同時に参照することが欠かせない。問い合わせ例の「契約を更新せず、今月で終了したい」でも、左から右へ読むモデルが「契約を更新」まで読んだ時点では、継続か拒否かを判断できない。後ろに続く「せず」や「終了したい」という右側の文脈が見えて初めて、否定の意図と終了の意志が確定する。

しかし、従来の「次の単語を予測する」方針のまま深層の全層で左右両方向の文脈を参照させると重大な問題が生じる。予測対象の単語自体の情報が上位層へ素通りする「情報漏洩」が発生し、モデルは文脈を学ばず答えを出力する自明な解法を覚えてしまう。左右両方向の文脈を統合したいが、予測対象が見えてしまうため学習が成立しないジレンマが当時の技術的な壁であった。

この情報漏洩を回避し、全層での深い双方向学習を可能にした中心的な工夫が「Masked Language Model（MLM）」である。文章を順に読むのではなく、入力文の一部の単語を伏字にして隠し、前後の文脈を手がかりに元の単語を当てさせる穴埋め課題を導入した。

問い合わせ例で言えば、「契約を更新せず、今月で終了したい」の「終了」を伏せ、「契約を更新せず、今月で[MASK]したい」と入力する。モデルは左側の「契約を更新せず、今月で」と右側の「したい」の双方を手がかりに、伏字が「終了」であることを予測する。予測対象そのものが隠されているため答えの漏洩は起きず、全層で左右の文脈を統合した表現を学習できる。

著者らは全トークンの15%を対象とし、80%を[MASK]、10%をランダム単語、10%を元の単語のまま残す配分を採用した。すべてを[MASK]にすると実運用の入力との差が広がるため、置換や無置換を混ぜ、あらゆる位置で文脈を捉え続けられるよう配慮されている。

自然言語処理では単一の文の理解だけでなく、二つの文の論理的関係を捉えることも求められる。質問に対する回答の妥当性や文間の関係を扱うため、著者らはMLMと並行して「Next Sentence Prediction（NSP）」という事前学習課題を導入した。

NSPは文Aと文Bを入力し、文Bが文Aに実際に続く連続した文章か、無作為に選ばれた無関係な文章かを判定する二値分類課題である。系列の先頭には分類用の特殊トークン[CLS]が配置され、この[CLS]に対応する最終出力ベクトルを用いて判定を行う。

また、入力表現も統一された。各単語の「トークン埋め込み」、文Aか文Bかを示す「セグメント埋め込み」、文中の位置を示す「位置埋め込み」の3つを同一次元で足し合わせて一つの入力ベクトルを作る。これにより、単一文も二文ペアも同一のTransformerエンコーダで扱えるようになった。

モデル規模として、著者らは基本版の「BERT-Base」（12層、768次元、12ヘッド）と大規模版の「BERT-Large」（24層、1024次元、16ヘッド）を用意した。いずれもTransformerのエンコーダのみを深く積み重ねた構成である。

そしてBERTの特徴は、事前学習モデルを下流タスクへ適用するファインチューニングの簡潔さにある。複雑な個別ネットワークを再構築する必要はなく、事前学習済みモデルの最上部に単一の線形分類ヘッドを追加するだけでよい。文分類なら[CLS]の出力に分類層を接続し、単語抽出なら各トークンの出力に線形層を配置する。そして追加層だけでなく、モデル全体の全パラメータを目的タスクのデータでエンドツーエンドに微調整する。

問い合わせ例で言えば、意図分類も時期の抜き出しも、共通の事前学習済みBERTの上に小さな線形層を載せて微調整するだけで対応できる。これにより開発は「個別設計」から「共通表現の微調整」へと移行した。

著者らは提案手法の汎用性を検証するため、文分類からトークン抽出までを含む11種類の自然言語処理タスクで評価を行った。代表的な評価対象となったのが、多様な言語理解課題をまとめたベンチマーク「GLUE」と、推論課題「MultiNLI」である。

GLUEにおいて、先行する単方向モデルのOpenAI GPTが記録したスコアは72.8%であった。これに対し、BERT-Largeは80.5%を達成した。これは先行記録に対して絶対値で7.7ポイントの向上（パーセンテージポイントの差）を意味する。また、二文間の意味関係を分類するMultiNLIでも、BERT-Largeは正解率86.7%を達成し、先行最高水準に対し4.6ポイントの絶対的な向上を報告した。

ただし留意すべきは、これらの結果は学術用ベンチマークの上で計測された数値である点だ。問い合わせ例のような実際の業務文書において、直ちに同等の向上が得られることまでを保証したわけではない。

トークン単位で回答箇所を特定する抽出型タスクとして、文章読解データセット「SQuAD」を用いた検証が行われた。SQuAD v1.1は文章から質問の答えとなるスパンを抜き出すタスクで、予測と正解の一致度を測るテストF1スコアで評価される。

原論文によると、BERT-LargeはSQuAD v1.1のテストセットでF1スコア93.2を記録した。これは先行最高記録を1.5ポイント更新しただけでなく、論文中の参考値である人間アンサンブルの推定スコア（Human Ensemble）91.2をも2.0ポイント上回った。さらに、答えのない質問を含むSQuAD v2.0でもテストF1スコア83.1を達成し、先行最高記録から5.1ポイントの向上を記録した。

この結果の解釈には注意が必要である。これはSQuAD v1.1という特定のデータセットとF1という評価規則において参考値を上回ったという意味であり、一般的な読解力で人間を超えたわけではない。実証されたのは、指定範囲から適切なスパンを抽出する能力の高さである。

BERTの成果が双方向表現によるものかを確かめるため、著者らは構成要素を取り除いたアブレーション実験を実施した。特に重要なのは、双方向MLMの代わりに左から右への単方向コンテキストのみで学習させたモデルとの比較である。

実験の結果、モデルを単方向化すると各タスクの性能が一様に低下した。とりわけトークンレベルの文脈把握が不可欠な質問応答タスクで顕著な低下が見られ、左右両方向の文脈を同時に考慮する事前学習が不可欠であることが実験的に支持された。

一方で、この検証で示せなかった限界もある。BERTの最終スコアは、双方向MLM、NSPタスク、モデル規模、全体微調整という複数の要素が組み合わさった結果である。したがって性能向上が双方向性だけに完全に還元できるわけではない。また、NSPタスクがすべての理解課題で不可欠であるかも完全に切り分けられてはいなかった。

BERTの発表と実験結果は、自然言語処理の研究開発を大きく変えた。それまでの主流であった「課題ごとに専用のモデル構造を設計する」という手法は後退し、「大規模コーパスで双方向表現を事前学習した共通基盤モデルを用意し、下流の目的に応じて微調整する」という二段階のワークフローが、自然言語処理の分野全体で広く定着したのである。

本論文は提案内容と実証結果が高く評価され、自然言語処理の国際学会NAACL 2019において「Best Long Paper Award」を受賞した。タスクごとの構造工夫に費やされていたリソースが、より良質な事前学習手法や表現獲得の工夫へと集約されていく大きな転換点となった。

学術的評価にとどまらず、BERTは実際の大規模商用サービスにも採用された。最も代表的な事例はGoogle検索である。Googleは検索エンジンの中核アルゴリズムとしてBERTを採用し、検索クエリの前後の文脈を統合的に把握することで、利用者の意図に沿った検索結果を提示するシステムとして実用化した。

さらにBERTは、その構造や学習思想を受け継ぐ数多くの後続モデルの直系の祖となった。代表例としてRoBERTa、DeBERTa、ELECTRAなどが挙げられる。これらはいずれも、BERTが確立した「Transformerエンコーダによる双方向表現の事前学習と微調整」という設計を直接継承し、その発展形として開発されたモデルである。このように、BERTは実サービスと後続モデルの両面で直接の起点となった。

大きな影響を与えたBERTであるが、現代の視点から見ると明確な技術的限界が存在する。

第一の限界は、事前学習時と推論時における入力表現の不一致である。BERTは事前学習時に全トークンの15%を対象とし、多くを[MASK]に置き換えて学習する。しかし微調整時や実際の推論環境では入力文に[MASK]は現れない。著者らは10%をランダム単語、10%を元の単語のまま残す工夫で影響を和らげようとしたが、学習時と利用時で入力分布が異なる不一致自体は解消されていない。

第二の限界は、一度に扱える最大系列長が512トークンに制限されている点である。単一の文や短い段落には十分だが、長大な契約書全体や長期の顧客ログを一括処理することはできない。長文を扱うには分割やスライディングウィンドウなどの工夫が必要であり、BERT単体で長文処理が完結するわけではなかった。

現代の生成AIを利用する実務家にとって、最も重要な制約はBERTが「文章を理解・分析するエンコーダ」であり、「自律的に文章を生成するモデルではない」点である。

対話型AIなどで広く使われる自己回帰型モデルは、左から右へ単語を順次予測して文章を出力する。これに対し、BERTは左右両方向の文脈を全層で混ぜ合わせて各単語の表現を作るエンコーダであるため、新しい文章を自律的に書き出していく生成タスクには直接対応できない。

ここで、冒頭の問い合わせ例「契約を更新せず、今月で終了したい」に戻ろう。BERTができるのは、この文が解約申し出であると分類したり、「今月で終了」という箇所を抽出したりすることである。「承知いたしました。解約手続きをご案内いたします」といった返答文を自動生成することは設計思想に含まれない。読解や分類ベンチマークの数値を、文章生成能力と同一視してはならない。

これらの制約を踏まえ実務家が引き継ぐべき教訓は、「汎用言語表現を事前に学び、目的に合わせて適応させる」という設計思想そのものである。課題ごとにゼロからモデルを作るのではなく、共通基盤を活用する発想は、今日の基盤モデル運用の基本原則となっている。

同時に、モデルを採用する際には公表ベンチマークの平均値だけで判断してはならない教訓もある。自社の実務データが512トークン以内に収まるか、解きたい業務が分類や抽出か文章生成か、事前学習データの文脈が専門分野に合致しているかを冷静に検証する必要がある。

BERTが示したのは、双方向の文脈理解が言語解析の精度を大きく向上させるという事実である。その貢献と制約の両方を客観的に理解することこそが、言語AI技術を正しく業務に生かす確かな土台となる。