ResNet：残差接続による超多層ニューラルネットワークの学習

画像認識ネットワークにおいて、「層の深さ」は認識性能を左右する中核要素とみなされてきました。層を何十にも重ねれば、単純な輪郭から複雑な模様、さらには物体全体の形状へと、段階的に高度な特徴を捉えられると期待されたためです。実務的な例として、ECサイトの商品画像を自動分類するシステムを考えます。靴やバッグの判別だけでなく、素材の質感や細部のステッチまで識別するために、より深いモデルで識別力を高めたいという要請が生じます。理論上は、新しく追加した層が役に立たないとしても、手前からの情報を加工せず素通り（恒等写像）させれば浅いモデルと同等の性能を維持できるはずでした。したがって十分に調整できるなら、深いモデルは浅いモデル以上の性能を発揮すると考えられていました。

しかし当時の研究者が直面したのは、理論的な期待とは正反対の現実でした。通常の畳み込み層を積み重ねていくと、ある深さを境に性能が頭打ちとなり、層を増やすほど精度が悪化していったのです。機械学習で性能悪化といえば過学習が疑われます。過学習は手元の学習データを過剰に覚え込み、未知のテストデータに対する予測精度が落ちる現象です。しかし当時観察された現象は過学習とは異なっていました。未知のデータだけでなく、学習させている最中の「訓練誤差」そのものが浅いモデルより悪化していたのです。ECサイトの例で言えば、20層モデルより50層モデルのほうがカタログ画像の正解率すら低くなる事態です。著者らはこの最適化上の深刻な停滞を「劣化問題」と呼びました。

多層ネットワークの学習を困難にする要因として、古くから勾配消失や勾配爆発が知られていました。重みの更新過程で、層を重ねるごとに学習信号が極端に小さくなったり過大に膨らんだりする問題です。この問題に対しては、各層を通過するデータのばらつきを整えるバッチ正規化などが導入され、数十層程度であれば信号を安定して通せるようになっていました。ResNetの論文で検証されたモデル群にも、バッチ正規化が組み込まれています。しかし、信号が通る状態を作っても、層を深くした際の劣化問題は解消されませんでした。当時の標準的な手法では20層から30層あたりで性能向上が限界を迎え、それ以上の深層化は利益をもたらさない壁に突き当たっていたのです。単なる数値の正規化にとどまらない、構造そのものの見直しが求められていました。

劣化問題を打破するために著者が打ち出した核心的なアイデアが「残差学習」です。各層ブロックに「目標出力を一から作れ」と命じるのではなく、「入力に対してどのような変更を加えるべきかという差分（残差）だけを学習せよ」と問題構造を再定義しました。従来のネットワークでは、層への入力を受け取ったとき、その層は完成された特徴表現そのものを直接生成しようとします。これに対しResNetでは、層の脇に迂回路となる「ショートカット接続」を設けました。手前の入力データをそのまま後段へと素通りさせ、通常の層が計算した出力と足し合わせる構造にしたのです。ブロック全体の出力は「通常の層が計算した差分」と「元の入力」の合計になり、層の役割は手前の情報に対する微修正や追加情報の算出に限定されました。

この設計の利点は、「入力を加工せず維持する（恒等写像）」という動作が構造上きわめて容易になる点にあります。商品画像の分類システムで考えます。最初の20層で靴の基本的な輪郭や色といった有用な特徴が抽出できていたとします。後続の層がそれ以上新しい情報を付加する必要がない場合、最善の振る舞いは手前の特徴を壊さずにそのまま次へ渡すことです。従来の構造では複数の重みと非線形変換を組み合わせて元データと同じ出力を再現せねばならず、有用な特徴がかき乱される恐れがありました。一方、残差接続があれば通常の層の出力をゼロに近づけるだけで手前の入力がそのまま次へ流れます。ただし、実際の層が「色」や「輪郭」を人間のように整然と分担していると論文が証明したわけではありません。残差学習が提供したのは役割分担ではなく、数値信号を安定して保つ構造的な経路です。

基本となる残差ブロックは、畳み込み層と活性化関数を重ねた処理に入力を足し合わせる構成をとります。しかし層数を100層以上に増やす際、通常の畳み込みを重ねるだけでは計算量とメモリ消費が膨らんでしまいます。そこで著者らは、50層、101層、152層といった深いモデルのために「ボトルネック構造」を導入しました。これは1x1畳み込みで特徴の次元数を絞り込み、身軽な状態で3x3畳み込みを行い、最後に1x1畳み込みで元の次元数へと復元する3層設計です。この工夫により計算負荷を抑えつつ多層化を進めることが可能になりました。また次元数が変わる境界では、余白にゼロを埋めて足す追加パラメータ不要の方式と、1x1畳み込みで形を合わせる射影ショートカットを比較し、双方が有効に機能することを確かめました。

著者らは残差学習の有効性を確かめるため、一般画像データセット「ImageNet」と小規模な「CIFAR-10」を用いて系統的な実験を実施しました。比較設計において重視されたのは、同等の処理量を持つ通常のネットワークと残差接続を組み込んだResNetを用意し、層数を増やしたときの挙動の違いを観察することでした。ImageNetでは18層と34層を比較し、CIFAR-10では20層から110層、さらには1202層に至るまでの比較を行いました。この評価で重要だったのは、テスト誤り率だけでなく「学習データに対する訓練誤差」の推移を追跡した点です。層を深くした際に訓練誤差まで悪化していれば劣化問題が起きており、逆に訓練誤差が順調に低下していれば、残差構造が最適化の壁を打破した証拠となるためです。

ImageNetの実験結果は明確な違いを示しました。通常のネットワークでは34層モデルは18層モデルに比べて訓練誤差・検証誤差ともに高くなり、劣化問題が発生しました。これに対しResNetでは34層モデルが18層モデルよりも訓練・検証の双方で優れた成績を収め、層を深くした恩恵が得られることが実証されました。さらに著者らは、ボトルネック構造を用いて層数を引き上げた50層、101層、152層のResNetを構築しました。152層モデルは16層のVGGネットワークと比べて8倍以上深いにもかかわらず、計算量は11.3 GFLOPsに抑えられ、VGGの15.3 GFLOPsよりも低い計算複雑度を実現していました。単一のResNet-152はトップ5誤り率4.49%を記録し、複数モデルのアンサンブルでは3.57%を達成してILSVRC 2015分類で1位を獲得しました。

CIFAR-10においても残差学習の効果は一貫して確認されました。通常の構造では56層モデルが20層モデルより悪化していたのに対し、ResNetでは層数を増やすにつれて誤り率が着実に低下しました。報告されたテスト誤り率は、20層で8.75%、32層で7.51%、44層で7.17%、56層で6.97%、110層で6.43%となり、100層を超える深さでも学習が機能することが示されました。さらにこの表現は画像分類にとどまらず、ILSVRC 2015では物体検出と位置特定でも1位を獲得し、COCO 2015競技でも物体検出とセグメンテーションで1位となりました。COCO物体検出では前年の優勝記録に対して相対28%の精度向上を達成しています。ただし、この結果はバッチ正規化を含む特定の学習設定下で得られたものであり、残差接続単体の普遍的な効果を証明したわけではない点に留意が必要です。

ResNetの登場以前、ネットワーク設計では「層を深くしすぎると学習が進まなくなるため、20〜30層程度にとどめるのが現実的である」という制約が前提となっていました。ResNetの研究は、適切なバイパス経路を用意すれば、層数を50層、100層、それ以上に拡張しても学習を破綻させずに進められることを実証しました。これにより設計の発想は大きく変わり、「層を増やすと悪化するかもしれない」という懸念から、「恒等写像を維持できるショートカットを組み込み、必要なだけ深さを確保して表現力を引き出す」という設計方針が定着しました。学術的にも本論文はCVPR 2016において最優秀論文賞を受賞しました。その後、学術引用数は20万件を超える水準に達し、人工知能研究全体の中で最も広範に参照される論文の一つとなりました。

残差接続の影響は、画像認識の枠組みを越えて広がっていきました。音声認識、自然言語処理、そして強化学習など、深層学習が適用される幅広い領域で残差接続が導入されるようになったのです。たとえば、囲碁プログラムのAlphaGoにおいても残差ネットワークの構造がモデルの基盤として採用されました。とりわけ大きな影響を与えたのが、現代の大規模言語モデル（LLM）の土台となっているTransformerアーキテクチャへの継承です。Transformerの各層には、自己注意機構などをまたぐ形で入力をそのまま出力へと足し合わせる構造が備わっています。これは「残差ストリーム」と呼ばれ、何十層ものブロックを積み重ねた巨大な言語モデルであっても学習を安定して完遂させるための不可欠な骨格となっています。残差接続の知見は、現代の生成AIモデルの内部にも確実に受け継がれています。

ただし歴史的な影響を評価するにあたっては、直接的な構造の継承と、単なる外見上の類似とを慎重に区別する必要があります。ResNetから現代のモデルへと直接受け継がれたのは、「入力データを変更せずにそのまま後段へ加算し、学習対象を差分に限定する」という恒等ショートカットの構造的メカニズムです。この仕組みがあるからこそ、層を深くしても情報伝達の基準線が維持され、勾配が手前の層まで届くようになります。一方で、現代のTransformerや強化学習モデルは、ResNetのような畳み込み処理とは異なる自己注意機構や学習アルゴリズムを採用しています。後続モデルの成果すべてをResNet単体の功績に還元することは適切ではありません。ResNetが証明したのは残差構造による極めて深いネットワークの最適化可能性であり、その原理が優れた道具として後続技術に組み込まれたと見るのが正確です。

ResNetの成功は「層は深ければ深いほどよい」という結論を意味しませんでした。原論文の中で著者ら自身が報告している重要な結果が、CIFAR-10において試みられた1202層の超多層モデルの実験です。この1202層モデルにおいても残差接続のおかげで学習自体は進行し、訓練誤差は非常に低い水準にまで下がりました。つまり最適化の壁自体は乗り越えられていたのです。しかし、未知のテスト画像に対する誤り率は、110層モデルが達成した6.43%よりも少し悪化してしまいました。これは、データの規模に対してモデルの表現能力が過大になりすぎると、どれほど最適化がうまくいっても過学習が発生することを示しています。ショートカット接続によって学習可能にすることと、未知のデータに対して高い汎化性能を発揮することは別問題であり、過度な多層化は成果を損なう境界線が示されていました。

実用上のエンジニアリングという観点からも、極端な多層化には明確な代償が伴います。それがメモリ消費量の増大です。ショートカット接続そのものは追加パラメータを必要としませんが、層数を100層、150層と増やせば、順伝播の途中計算結果を逆伝播のためにメモリ上に保持し続けなければなりません。層数に比例して必要なバッファサイズが肥大化するため、ハードウェアのメモリ管理がシビアになります。計算量が抑えられていても、メモリ帯域や容量の制約から運用コストが高くなる実務上の制約が生じます。また、残差接続がなぜこれほど高い効果を発揮するのかという理論的メカニズムの完全な解明は、原論文の時点では未完了でした。後続研究では無数の浅いモデルのアンサンブルとして振る舞っているという解釈が提示されるなど、理論的分析は以後の研究へと委ねられました。

現代の視点から振り返ると、AIモデルの評価は、単にベンチマークのスコアや層数だけで判断できるものではなくなっています。推論にかかる遅延時間、メモリ消費量、消費電力、学習に必要なデータ収集コストなど、多面的なトレードオフの中で最適な設計を選択することが求められます。ResNetから得られる耐久性の高い教訓は、「システムに新たな複雑さを追加する際には、それが不要な場合に元の性能をそのまま担保できる迂回路（退路）を設けておくことが、最適化を破綻させない鍵になる」という設計思想そのものです。実務者が新しいAI技術の導入を検討する際には、単に層の深さや規模に目を奪われるのではなく、追加された構造がどのような前提条件や正規化と結びついているのか、そして自社のデータ規模や運用コストに見合っているのかを冷静に見極める姿勢が不可欠です。