Marigold V2：Diffusion Transformerを単眼深度推定へ転用する2段階学習法

1枚の写真は3次元の空間を2次元の平面へ写し取った情報です。手前の小さな物体なのか奥の巨大な物体なのかという奥行き情報が失われているため、1枚の写真から各画素の距離を推定する単眼深度推定は、無数の立体形状が対応しうる不良設定問題です。この課題を、ECサイト向けに衣服や家具のカタログ写真を撮影し、背景切り抜きや3Dプレビュー画像を作成する現場で考えてみます。写真には毛足の長いセーターや観葉植物の細かな葉が写っており、制作担当者は輪郭が背景と綺麗に分離された自然な前後関係を求めています。従来は大量の写真と実測距離を集めて専用AIを学習させていましたが、学習データにない未知の部屋や照明に遭遇すると精度が急落する弱点がありました。そこで近年は、膨大な画像から物理世界の常識を学んだ画像生成AIの事前知識を借りて、未知の場面にも対応できる立体推定を目指す研究が進んでいます。

画像生成AI、特に拡散モデルはノイズから徐々に鮮明な絵を作る過程で豊かな幾何理解を獲得しています。しかし、これを深度推定へ転用する際には深刻な二者択一が存在しました。第1の道は、多段階の反復計算を行って高品質な深度を得る方法ですが、1枚の処理に時間がかかりすぎ、大量処理や即時操作には向きません。第2の道は、1回の計算（単一ステップ）で深度を出力させる高速化です。しかし、多くの生成モデルは計算を軽くするために画像を一度小さな潜在データへ圧縮し、最後に画像へ復元する仕組み（VAE）を使っています。1回の計算で一気に解かせようとすると、この復元過程で細部が削ぎ落とされ、セーターの毛先や植物の葉先が背景に溶けてぼやけてしまいます。さらに、その深度から3次元点群を作ると、輪郭周辺に不自然な浮遊点が発生し、3D形状が破綻する原因になっていました。

モデルの構造に加え、AIの学習に用いる正解データ自体にも見落とされがちな難点がありました。高品質な深度学習にはCGで作られた合成データが多用されますが、半透明なガラスや髪の毛のように極めて細い物体をレンダリングする際、ピクセル内での光の混ざり合いにより、正解の深度ラベルにも確率的なノイズや1〜2画素の微小な位置ブレが生じてしまいます。従来の学習では、AIの予測値を正解の全く同じ座標の画素と厳密に比較し、ズレをペナルティとして課していました。しかし正解の輪郭位置自体がわずかに揺らいでいる場合、AIはそのノイズに無理に合わせようとするか、揺らぎを平均化して境界を滑らかに塗りつぶしてしまいます。つまり、同じ画素同士を厳密に一致させようとする従来の基準そのものが、シャープな輪郭の復元を妨げる要因になっていたのです。

Marigold V2は画像編集用の大規模な拡散Transformerモデル「Qwen-Image-Edit-2509」を土台に採用しました。基盤の重みを4ビットに量子化して保持し、追加のアダプター（QLoRA）のみを学習させることで、単一の32GB GPUで扱えるように設計されています。多段階の生成過程は、固定された中間時刻においてRGB画像から深度への変化速度を1回で予測する単一ステップ推論へと単純化されました。入力画像を潜在表現に変換し、予測された速度を一度差し引いて復元装置（VAEデコーダ）を通すだけで深度画像が得られます。また、正解深度を対数変換した上で有効画素の2パーセンタイルと98パーセンタイルで切りそろえて正規化し、空間全体の縮尺や基準位置の違いに左右されない相対幾何を学ばせる設計をとっています。

本手法の工夫は、学習を大域構造を学ぶ第1段階と、局所境界を磨く第2段階に分けた点です。初期から輪郭ばかりを追うと空間全体の配置が崩れるため、まず大まかな骨格を固めます。第1段階では復元装置を固定し、潜在空間の誤差、画素の誤差、隣接画素の傾きを見る空間勾配の誤差に加え、提案手法である「iREPA-depth」を併用します。従来の表現整合は入力写真から取り出した特徴を教師にしていましたが、iREPA-depthは正解深度そのものを別の基盤モデル（DINOv3）に入力して得た幾何特徴を教師とします。AIの内部表現をこの幾何特徴へ近づけることで、写真の表面模様に惑わされない立体認識力を育てます。この教師モデルは学習時のみ使われ、推論時には呼び出さないため処理の重荷になりません。

第1段階の後に続く第2段階では、復元装置の固定を解いて微調整しつつ、「SinkLoss」という損失関数を導入します。これは正解データの微小な位置ノイズを克服するための仕組みです。画像を重複しない5×5画素の小ブロックに分割し、ブロック内で予測値と正解値の差を計算します。ただし同一座標を厳密に比べるのではなく、最適輸送のアルゴリズム（Sinkhorn–Knopp法）を用いて、ブロック内で最も自然な組み合わせを探す柔らかな1対1対応を求めます。見本の写真と1ミリ違わずネギを置くのではなく、小さな区画内に適切な量のネギがあればよしとする判定に似ています。葉先が1画素ズレていても同じブロック内なら対応づけられるため、ノイズによる過平滑化を防ぎ、極細の境界線を鮮明に復元できます。ただし対応の許容は5×5画素内に限られ、大域的な形状破綻は防がれます。

著者らはHyperSimとvKITTIをサンプリングした合成データを用い、単一32GB GPUで第1段階を16万ステップ、第2段階を追加で3万ステップ学習させました。検証では、学習に用いていない実写データセット（KITTIやETH3Dなど）に対する汎化性能を測定しました。重要なのは、予測深度を外れ値に強い手法（RANSAC）で正解のスケールとシフトにピッタリ合わせてから誤差（AbsRel）を計算している点です。したがって検証されているのは現実のメートル距離ではなく、被写体同士の相対的な遠近比率です。また、画像全体の平均誤差だけでなく、境界線周辺の形状誤差を見る指標（SEE3、SEE5、SEE7）を併用し、全体の平均精度と微細な輪郭の鮮明さを切り分けて評価できるように設計されています。なお比較表では学習画像が500万枚を超える極大モデルは対象外とされ、同等規模での比較となっています。

著者らの報告によると、学習に用いていない実写データにおいて、Marigold V2は高い汎化性能を示しました。KITTIとETH3Dの相対深度誤差（AbsRel）はそれぞれ5.4と2.8を記録し、同等の学習規模を持つ従来最良モデル（FE2Eの6.5と3.8）を改善しました。論文要旨ではこれを16〜26%の相対改善と表現しています。境界指標であるHyperSimのSEE3、SEE5、SEE7でも0.352、0.333、0.320を記録し、比較されたPPD（0.404、0.385、0.371）やInfiniDepth（0.470、0.451、0.436）より低い境界誤差を達成しました。定性的にも、従来は背景に溶けやすかった動物の毛並みや植物の葉、人間の髪の毛などの境界が鮮明に分離されました。冒頭のカタログ撮影の例で言えば、セーターの毛羽立ちや葉先が綺麗に浮き上がり、切り抜きや3D化で破綻しにくい品質が確認されています。

一方でアブレーション実験からは、技術選定上の重要な知見が示されました。SinkLossの有無を比べたところ、5データセットの平均AbsRelは導入前の4.10から導入後は4.12へと、わずか0.02ポイント悪化しました。しかし境界指標であるSEE3、SEE5、SEE7は、0.449、0.429、0.414から0.352、0.333、0.320へと明確に改善しました。これは、SinkLossが平均誤差を一律に下げるのではなく、「輪郭のシャープさを得る代わりに、画素全体の平均的な誤差をわずかに犠牲にする」というトレードオフを持つことを物語っています。小ブロック内で値の集合を柔軟に合わせることで、正解ノイズへの過適合を避けて視覚的な境界を保てる反面、厳密な平均値にはわずかな歪みが生じます。またiREPA-depthも、16万ステップの長時間学習後では標準指標上の差が縮まり、データごとに勝敗が分かれました。著者らは視覚的な品質向上が残ると分析していますが、標準的な平均指標だけでは効果を一概に証明しにくい側面があります。

著者らはこの2段階学習を、物体の面の傾きを当てる「表面法線推定」や、陰影を取り除いた色を当てる「アルベド推定」にも展開しました。表面法線推定にSinkLossを適用したところ、境界付近の角度誤差（SAEE3、SAEE5、SAEE7）は11.25、9.42、8.53から10.76、8.86、7.99へとすべて改善しました。しかし4つのテストセットの平均角度誤差は18.53度から18.84度へと0.31度悪化しました。深度推定と同じく「境界改善と平均誤差悪化」のトレードオフが再現された形です。またアルベド推定では、PSNR（20.78）と知覚類似度LPIPS（0.195）が比較中最良となった一方、構造類似度SSIM（0.811）は従来手法（0.819）を下回りました。多分野に応用できる可能性を示しつつも、すべての指標を同時に満たすわけではなく、用途に応じた優先順位付けが不可欠であることが分かります。

実業務への導入にあたっては、明確な限界を踏まえる必要があります。第1に、主要な結果は正解データにスケールとシフトを後から合わせた相対幾何であり、現実のメートル単位の距離を直接当てる性能ではありません。搬送ロボットや自動運転のように実距離が不可欠な用途にはそのまま使えません。第2に計算速度とメモリです。単一32GB GPUで動くものの、1024画素で1.9秒（メモリ16.9GB）、2048画素の高解像度では9.6秒（メモリ29.3GB）を要します。1024画素を0.2秒で処理する高速モデルもあり、最速ではありません。2048画素で他手法がメモリ不足になる中でも動く頑健さはありますが、リアルタイム制御には不向きです。第3に、ガラスなどの透明面、鏡面反射、被写体ブレ、ピント外れのボケがある領域は深度が曖昧なままです。モデルは1つの深度値を決定論的に出力するのみで、不確実性や透けた面の奥を多層的に表すことはできません。さらに、評価データ自体の細線ノイズが交絡するため、境界改善が真の立体理解なのかノイズ回避なのかを切り分けにくい課題も残されています。