Marigold V2：Diffusion Transformerを単眼深度推定へ転用する2段階学習法

写真1枚だけでは、同じ見た目を説明できる立体の形がいくつもあります。既存の方法には、細部を消したり、物の境目をぼかしたりする問題もありました。著者らは、未知の画像にも対応しながら、細い形を保てるかを問いました。

学習は2段階です。最初に、正解の遠近から取り出した形の手がかりを、AIの内側の捉え方に近づけます。次に、近所の中なら正解との位置が少しずれてもよい採点方法で境目を磨きます。たとえば、髪の毛の正解線が予想より1画素ずれていても、ただ間違いと切り捨てず、同じ小区画にある近い遠近の線として対応を探します。

著者らは、学習に使っていないKITTIとETH3Dで試し、AbsRelをそれぞれ5.4と2.8と報告しました。比べられる学習規模の従来最良値は6.5と3.8でした。またSinkLossを加えると、5つのデータをまとめたAbsRelは4.10から4.12へわずかに悪化した一方、境目の3種類の点数はすべて改善しました。

主な点数は、予想の大きさと基準位置を正解に合わせた後の値です。そのため、現実の距離をそのまま当てた証拠ではありません。大きなAIなので実時間処理にも向かず、反射、動き、ぼけのある場所はなお曖昧です。

境目の点数が良くなっても、画像全体の誤差は少し悪くなりました。もし細い形が重要で、正解の位置にも小さなずれがある仕事なら、各画素を厳しく合わせる採点だけに頼らない方がよいかもしれません。ただし、透明物や細い物では正解自体にも曖昧さがあり、別の仕事でも同じ利点が出るかは個別に試す必要があります。

写真1枚から立体の形を決めることは、答えが一つに定まりません。それでも、写真編集や立体化の前処理では、画像の各場所が近いか遠いかを知る必要があります。従来の画像生成AIを使う方法は、初めて見る種類の画像にも対応しやすい一方、画像を小さな情報に変換して戻す途中で細部を失い、境目を滑らかにしすぎることがありました。著者らの問いは、1回の計算で答える軽さを保ちながら、細部と未知の画像への対応を改善できるかです。

これまでには、答えを何段階も直して品質を上げる方法、1回で答えて速度を上げる方法、まず粗い答えを作る方法などがありました。また、AIの内側の捉え方を別の手がかりへ近づける研究もありましたが、主に入力写真から得た特徴を先生役にしていました。厳密な画素ごとの正解には、細い物や透明物で小さな位置ずれや作成時のノイズが混じるため、細部を守ることと正解の曖昧さに耐えることを同時に扱う余地がありました。

Marigold V2は、画像を作ったり直したりするために学んだQwen-Image-Edit-2509を、遠近の地図を返す道具へ変えます。学習を2段階に分けます。第1段階は画像全体の遠近と形を学び、第2段階は境目を重点的に磨きます。元のAIの多くを小さな数で扱える形にし、追加部分を中心に調整します。答えを出すときは、追加の先生役を呼ばず、1回だけ計算します。

料理の練習にたとえると、第1段階は、料理全体の味と見た目を手本へ近づける練習です。正解の遠近から取り出した形や物のまとまりの手がかりを、AIが途中で作る手がかりへ近づけます。さらに、各場所の値、隣り合う場所の変化、AI内部の情報も合わせて学びます。

第2段階は、盛り付けの縁を直す練習に近いものです。画像を5かける5の重ならない小区画に分け、その中で予想と正解の近い遠近を柔らかく結びます。たとえば、細い葉の正解が予想より1画素ずれていても、近所に同じ遠近の葉があれば対応できます。ただし料理のたとえと違い、ここで動かすのは物そのものではなく、小区画内の数値の対応です。広い範囲の位置違いを自由に許す方法ではありません。

著者らはHyperSimとvKITTIを9対1の割合で選んで学習し、学習に使わない複数のデータで試しました。主な遠近の点数は、予想全体の大きさと基準位置をRANSACという手順で正解へ合わせてから測るAbsRelと、一定の誤差内に入る割合です。境目にはSEEを使いました。この違いは重要です。前者は画像全体の遠近、後者は境界の形をより直接に見ます。比較表は学習画像が500万枚を超える方法を順位の対象外にしており、条件をそろえた範囲での比較です。

著者らの報告では、学習に使っていないKITTIとETH3DでAbsRelが5.4と2.8でした。比べられる学習規模の従来最良値は6.5と3.8で、要旨は16〜26%の改善としています。HyperSimの境目ではSEEの3種類が0.352、0.333、0.320で、PPDの0.404、0.385、0.371などを下回りました。

一方、SinkLossを外した場合と比べると、5データの平均AbsRelは4.10から4.12へ少し悪化しましたが、境目の3点数は0.449、0.429、0.414から0.352、0.333、0.320へ改善しました。つまり、全体の平均的なずれと境目の見え方には交換条件があります。

この設計は、写真1枚から相対的な遠近を得たい場面や、毛、葉、細線の境目を重視する処理に合う候補です。著者らは同じ考えを、面の向きや物体表面の色を予想する仕事にも試しました。面の向きでは境目の点数が改善する一方、平均の角度誤差は18.53から18.84へ悪化しました。単一の仕事だけに限らない可能性はありますが、どの仕事でもすべての点数が良くなるわけではありません。

主な深度の結果は、予想を正解へ合わせた後の点数であり、現実のメートル単位の距離を直接当てた結果ではありません。大きなAIを使うため最速でもありません。著者らの測定では、1024かける1024画素で1.9秒と16.9GB、2048かける2048画素で9.6秒と29.3GBを使いました。反射、動き、ピント外れのぼけは曖昧なままです。また透明物や細い構造では、試験用の正解にもノイズがあり、画素ごとの点数が人にとって望ましい形と一致しないことがあります。

SinkLossは境目をはっきりさせましたが、画像全体の平均誤差を同時には改善しませんでした。この観察は、採点表を一つの数字だけにすると、用途に必要な性質を見落とす可能性を示します。もし細い形が重要で、正解にも小さな位置ずれがあるなら、全体の誤差と境目の誤差を分けて試し、近所の値の集まりを合わせる学び方を候補にできます。ただし、正解自体が曖昧な場所では点数の意味も揺らぎます。別の画像や仕事で、全体の正確さ、境目、計算時間を一緒に確かめる必要があります。

写真1枚には奥行き方向の情報が直接は入っていません。同じ写真を、異なる立体の形で説明できるため、答えは一つに定まりません。Marigold V2はこの問題を、現実のメートル数をそのまま当てる仕事ではなく、画像内の近い・遠い関係を当てる仕事として扱います。学習用の正解も、全体の大きさや基準位置に左右されにくい形へ直します。

もう一つの前提は、正解の各画素がいつも完全とは限らないことです。透明物や髪のような細い物では、正解を作る処理によって境目の位置が揺れることがあります。その正解へ厳密に合わせ続けると、望ましい細線をぼかす可能性があります。ただし、ずれを許しすぎれば、本当に違う位置を取り違えます。研究はこの間を、小さな区画だけで対応を探すことで扱います。

以前の画像生成AIを使う遠近予想には、何回も答えを直す方法と、1回で答える方法がありました。何回も直す方法は計算が増えます。1回で答える方法は速くできますが、画像を圧縮して戻す部分で細部が消えたり、境目が滑らかになりすぎたりします。粗い予想を先に作る方法や、画像を戻す部分を広げる方法もありました。

AI内部の手がかりを、別の仕組みが作る手がかりへ合わせる方法も先行していました。しかし主に入力写真から取り出した特徴を先生役にしていました。本研究は、正解の遠近そのものから形の手がかりを取り出す点と、境目の正解が少しずれても学べる採点を後段に置く点を組み合わせます。Marigold V1から続く、画像生成モデルを別の画像理解へ転用する研究の流れを、Diffusion Transformerという種類の仕組みへ広げています。

方法は2段階です。料理教室になぞらえると、第1段階は、料理全体の味、量、見た目を手本へ近づける基礎練習です。各場所の遠近、隣同士で遠近が変わる向き、AI内部の情報、正解から得た形の手がかりを同時に学びます。第2段階は盛り付けの縁を整える仕上げです。小区画の中で、予想と正解の値が最も無理なく対応する組み合わせを探します。

この比較が当てはまるのは、全体を先に学び、局所を後で磨く順序です。実際の方法は料理を見て判断するのではなく、数値の差を使います。また、小区画を越えて物を動かすわけではありません。答えを出す時は、入力画像を内部情報へ変え、遠近に対応する内部情報を1回の計算で予想し、画像の形へ戻します。

正解の遠近は、非常に近い値と遠い値の影響を抑え、画像内の相対関係を学びやすくするために変換されます。まず遠近の値を対数にし、有効な画素の下から2%と上から2%を境に切りそろえ、マイナス1から1の範囲へ移します。これにより、画像全体の倍率と基準位置が違っても同じ関係として扱いやすくします。

第1段階では四つの見方を合わせます。AI内部で予想と正解を比べるもの、画像へ戻した各画素を比べるもの、隣り合う場所の変化を比べるもの、正解深度から得た形の手がかりとAI内部の捉え方を近づけるiREPA-depthです。重みは順に1、1、5、0.2です。iREPA-depthの先生役は学習中だけ使うため、答える時の追加計算は生じません。

第2段階のSinkLossは画像を重ならない5かける5の区画へ分けます。区画内の予想値と正解値の差を調べ、各値がほぼ一対一になるように柔らかく結びます。対応の曖昧さを決める値は0.1で、対応探しを5回繰り返します。無効な画素には非常に大きい罰を置きます。同じ場所の一致ではなく値の集まりの一致を優先するので、細線の小さな位置ずれには耐えられますが、境目の正しい位置を直接保証するものではありません。

土台にはQwen-Image-Edit-2509を使います。大きなAI本体を4ビットという小さな表し方で保持し、rank 128の追加部分を学びます。第1段階では画像を内部情報へ戻す部分を固定します。第2段階ではそのうち画像を復元する側も動かし、iREPA-depthの重み0.2とSinkLossの重み1で追加学習します。

学習画像は屋内のHyperSimと道路場面のvKITTIから9対1で選びます。著者らの最終設定は単一の32GB GPUを使い、第1段階を16万回、第2段階をさらに3万回進めました。この条件は、大量の異なる実写画像で学んだことを意味しません。元の画像生成AIが持つ知識を、比較的小規模な教師付きデータで転用する設定です。

遠近の試験では、学習に使っていないデータへそのまま答える能力を調べました。予想はRANSACという外れ値に引かれにくい手順で、正解の大きさと基準位置へ合わせます。その後、AbsRelなどの画像全体の点数を出します。したがって、結果が示すのは相対的な立体構造であり、現実の距離を直接測る力ではありません。

境目には、幅の異なる範囲でずれを見るSEEを使います。画像全体の点数と境目の点数を分けることで、細線がきれいでも平均誤差が増える場合を見つけられます。比較表は学習画像が500万枚を超える方法を順位から外しています。また一部の比較結果は学習データの重なりにより、完全な未学習試験ではありません。このため「すべての方法より優れる」ではなく、論文が定めた比較範囲で読む必要があります。

著者らは、KITTIのAbsRelが5.4、ETH3Dが2.8だったと報告しました。比べられる学習規模での従来最良値は6.5と3.8で、論文要旨は16〜26%の改善とまとめています。HyperSimの境目では、3種類のSEEが0.352、0.333、0.320でした。PPDは0.404、0.385、0.371、InfiniDepthは0.470、0.451、0.436でした。

高い細かさの画像も単一32GB GPUで処理できましたが、最速ではありません。1024かける1024画素では1.9秒、16.9GBで、比較対象には0.2秒や1.4秒の方法があります。2048かける2048画素では9.6秒、29.3GBでした。この大きさでは動かなかった比較手法もありますが、実時間処理を示す数字ではありません。

別の仕事では、面の向きの境目の点数が改善する一方、平均角度誤差は18.53から18.84へ悪化しました。表面そのものの色を分ける仕事では、PSNR 20.78とLPIPS 0.195が比較中最良でしたが、SSIM 0.811は最良ではありませんでした。異なる仕事へ広げられる可能性と、点数ごとの交換条件の両方が見えます。

SinkLossだけの影響を見る比較では、Qwenを土台にしたモデルの5データ平均AbsRelが4.10から4.12へわずかに悪化しました。一方、SEEの3種類は0.449、0.429、0.414から0.352、0.333、0.320へ改善しました。別の画像生成AIを土台にしても境目の改善が報告されています。これはSinkLossが万能に誤差を下げるのではなく、境目を優先する働きを持つことを示します。

iREPA-depthも、長く学習した後の標準点数では常に勝ちませんでした。NYUv2とKITTIでは有無による勝敗が分かれ、ETH3Dでは改善しました。著者らは、学習を長くすると数値の差は小さくなるものの、見た目の改善は残ると分析しています。ただし見た目の報告だけから、すべての利用者にとって優れるとは決められません。

反射、動く物、ピント外れのぼけは失敗が残る領域です。写真1枚では、表面の見え方と距離の原因を分けられないためです。

境目の改善は、モデルが立体をより正しく理解したためだけとは限りません。SinkLossは小区画内の値の集まりを合わせるので、正解のノイズへ過度に従わなくなった結果とも読めます。逆に、平均AbsRelのわずかな悪化は、境目を守るための意図した交換条件かもしれませんし、単に全体の遠近が少し崩れた可能性もあります。用途別の試験なしには区別できません。

また、未知の画像での良い点数には、2段階学習だけでなく、元の大きな画像生成AIが持つ知識も寄与しているはずです。この論文の比較は完成した手法の効果を示しますが、元のAI、第1段階、第2段階が別々の未知画像でどれだけ効いたかを一つの数字に分離するものではありません。

第一に、評価前に予想の大きさと基準位置を正解へ合わせるため、絶対距離が必要なロボットなどへそのまま使える証拠ではありません。第二に、大規模な土台は計算とメモリーを多く使い、実時間用途には向きません。第三に、反射、動き、ぼけ、透明面や複数の面が重なる場面の不確かさを答えとして表していません。

第四に、HyperSimの透明物や細線では正解自体に作成上のノイズがあります。SinkLossはそれに耐える狙いですが、正解の誤りと本物の位置差を完全には見分けません。第五に、比較順位には学習規模の上限があり、規模の異なる全モデルへの無条件の優越ではありません。最後に、法線推定の結果が示すように、境目を良くすることが平均的な正確さを悪くする場合があります。

今後は、反射や動きのある場所で、答えを一つに決めず不確かさや複数の面を表せるかが課題です。絶対距離を必要とする場面では、相対的な遠近を現実の尺度へ結ぶ別の情報と試験が要ります。SinkLossについては、小区画の大きさや柔らかさを変えた時に、境目と全体誤差の交換条件がどう動くかも重要です。

評価面では、正解にノイズがある細線をどう採点するかが残ります。画素ごとの一致、境目の形、人が望む見た目、立体化した後の使いやすさは同じではありません。どの点数を選ぶかを利用目的から決め、その条件で別データや別の密な予想仕事へ広がるかを確かめる必要があります。

この研究で鋭いのは、良い答えを一つの平均点だけで定義しなかったことです。SinkLossは境目を改善しましたが、平均AbsRelや法線の平均角度誤差まで同時に改善したわけではありません。もし目的が毛や葉の輪郭を残すことなら、正解の各画素へ厳密に従うより、小さな近所の中で値の集まりを合わせる設計を試す意味があります。しかし、正解自体が曖昧な場所では、点数の改善が真の立体理解を表すのか、ノイズを避けただけなのかを切り分けにくいままです。次の判断では、全体誤差、境目、立体化後の形、計算時間を用途に合わせて別々に測り、どの交換条件を受け入れるかを先に決めるべきでしょう。

単眼深度は不良設定であり、既存の拡散型推定器は未知分布への汎化に加え、VAEによる高周波成分の損失、過平滑な境界、点群化時のflying pixelsを抱える。研究課題は、生成DiTの容量を活用しつつ、単一ステップで鋭い深度境界を得ることにある。

第1段階では、latent誤差、画素誤差、空間勾配誤差にiREPA-depthを加え、正解深度由来のDINOv3特徴へ内部表現を整合する。第2段階ではVAEデコーダを解凍し、SinkLossで5×5局所ブロック内の深度値集合をsoft matchingする。これにより、厳密な同一画素対応のノイズを避けながら境界を磨く。

著者らはzero-shot評価で、KITTIとETH3DのAbsRelを5.4、2.8と報告し、比較可能な学習規模での従来最良6.5、3.8を下回った。SinkLossの比較では平均AbsRelが4.10から4.12へわずかに悪化した一方、HyperSimのSEE3/5/7は0.449/0.429/0.414から0.352/0.333/0.320へ改善した。

主要深度評価はRANSACによるscale・shift整合後であり、metric depthの直接予測を検証していない。大規模バックボーンは実時間用途に不向きで、反射、運動、デフォーカスも未解決である。さらに比較順位は500万枚以下の学習規模に限定される。

境界指標の改善と平均AbsRelの微悪化は、局所対応を緩める目的関数が、全体誤差とは異なる品質軸を制御できることを示唆する。境界とラベル位置の曖昧性が重要な密な回帰では、点ごとの損失に局所集合整合を加える選択肢がある。ただし正解深度自体にノイズがあるため、改善が幾何理解かラベルノイズ回避かは、タスク別指標で検証する必要がある。

一枚のRGB画像から深度を決める問題は多解である。生成モデル由来の事前知識は未知分布への汎化に有利だが、拡散の反復は遅く、VAE潜在を介す単一ステップ化では微細構造が失われやすい。論文は、生成DiTを単一ステップ回帰器として保ちつつ、毛、葉、細線などの境界と点群品質を改善できるかを問う。

従来の拡散型深度推定には、多段階サンプリングで品質を得る方法、単一パスで速度を得る方法、粗い推定や拡張VAEを使う方法がある。表現整合も使われてきたが、主にRGB入力から抽出した特徴が教師だった。これらは、VAE型モデルの高周波損失と、透明物や細構造で発生する教師ラベルの局所位置ノイズを同時には扱っていなかった。

Marigold V2はQwen-Image-Edit-2509を4-bit量子化し、rank-128 QLoRAで深度回帰へ適応する。Stage 1はグローバルな深度構造と意味・幾何表現を学び、Stage 2は局所境界へ特化する。前者では深度由来DINOv3特徴を教師とするiREPA-depth、後者では局所的な画素対応のずれを許すSinkLossを導入する。推論時には教師特徴も反復生成も必要ない。

正解深度はlog変換し、有効画素の2・98パーセンタイルでクリップして、負の1から1へ正規化する。RGBと正規化深度をVAE潜在へ符号化し、固定時刻0.5でRGB潜在から深度潜在への速度を学習する。推論ではRGB潜在から予測速度を一度差し引き、VAEで深度へ復号する。

Stage 1の総損失は、latent MSE、画素L1、空間勾配L1、iREPA-depthの加重和で、重みは1.0、1.0、5.0、0.2である。iREPA-depthは凍結DINOv3へ正解深度を入力し、その特徴とDiT内部表現を合わせるため、構造的な教師信号を加えつつ推論経路は増やさない。

Stage 2では画像を重複しない5×5ブロックへ分割する。各ブロックで予測値と正解値の絶対差をコストとし、Sinkhorn–Knopp法で柔らかな一対一対応を求める。したがって、同じ画素に固定された比較ではなく、狭い近傍に含まれる深度値集合を一致させる。

学習データはHyperSimとvKITTIを90対10でサンプリングする。最終設定は単一32GB GPUでStage 1を16万step、Stage 2を追加3万step学習する。評価時には予測をRANSACで正解のmetric depthへscale・shift整合し、AbsRel、δ1、境界指標SEEを計算する。この設計は相対幾何の評価であり、絶対metric scaleの評価ではない。

zero-shot比較は複数データセットで行う。ただしTable 1の順位は500万枚超で学習したモデルを対象外とし、π³のScanNet結果には学習データ重複の注記がある。境界評価はHyperSim test setでSEE3/5/7を用い、画像全体の誤差と境界品質を区別する。

著者報告では、KITTIとETH3DのAbsRelは5.4と2.8で、比較可能な学習規模の従来最良FE2Eの6.5と3.8を改善した。要旨は相対改善を16〜26%としている。HyperSimのSEE3/5/7は0.352/0.333/0.320で、PPDの0.404/0.385/0.371、InfiniDepthの0.470/0.451/0.436より低い。

SinkLossのアブレーションでは、5データセット平均AbsRelが4.10から4.12へ微悪化する一方、SEE3/5/7は0.449/0.429/0.414から0.352/0.333/0.320へ改善した。iREPA-depthは16万step後の標準指標でデータセットごとに勝敗が分かれ、著者らは量的差が縮小しても視覚品質の効果が残ると述べる。

適合するのは、絶対尺度より相対幾何を重視し、境界や高周波細部が重要な前処理である。同じ学習レシピは表面法線とアルベドにも適用された。法線ではSinkLossが全SAEEを改善したが、4テストセット平均角度誤差は18.53から18.84へ悪化した。アルベドではPSNR 20.78とLPIPS 0.195が比較中最良だが、SSIM 0.811は最良ではない。局所集合整合にはタスクを越えた可能性がある一方、評価軸間のトレードオフも再現する。

RANSAC整合後の指標は、metric scaleを直接必要とする用途を保証しない。計算面では1024²で1.9秒・16.9GB、2048²で9.6秒・29.3GBを要し、比較中の最速モデルではない。反射、動き、デフォーカス領域は曖昧なままで、不確実性や多層形状を明示しない。HyperSimの透明物・細構造には正解深度ノイズがあり、画素指標と望ましい形状が一致しない場合もある。比較順位の学習規模制限により、全モデルへの無条件な優越も主張できない。

SinkLossがSEEを改善しながら平均AbsRelを微悪化させたことは、局所対応の許容範囲が、平均精度とは独立した設計変数になり得ることを示す。境界品質とラベル位置の曖昧性が支配的な密な回帰では、点単位損失だけでなく局所集合整合を候補にできる。ただしHyperSimの正解にもノイズがあるため、指標改善を幾何理解の改善と同一視できない。採用判断では、全体誤差、境界、下流形状、計算量をタスク固有の条件で同時に検証すべきである。

単眼深度推定は、単一RGB観測に複数の3次元解釈が対応する不良設定問題である。Marigold V2は絶対metric depthではなく、scaleとshiftに不変な相対深度を対象とする。したがって、学習と評価の結論は主に画像内幾何へ限定される。

設計上の第二の仮定は、密な教師ラベルの局所対応が完全ではないことである。HyperSimでは透明物や細構造のレンダリングに由来する深度ノイズがあり、正しい形状でも画素単位では不一致になり得る。厳密な点対応は過平滑化を促す可能性があるが、対応を無制限に緩めれば空間配置を失う。提案法は許容範囲を5×5の局所ブロックへ制限する。

拡散型深度推定は、生成モデルの事前知識を利用して未知分布へ汎化できる一方、多段階推論の計算量を持つ。単一ステップ化は速度を改善するが、VAEボトルネックによる高周波損失、過平滑な境界、点群でのflying pixelsが残る。粗い推定の併用やVAE拡張も提案されてきた。

表現整合の先行法は、主にRGB入力を別の特徴抽出器へ与えて教師特徴を作る。本研究のiREPA-depthは、正解深度を凍結DINOv3へ入力し、意味と幾何を含む特徴をDiT内部へ整合する。Marigold V1から続く生成モデル転用の系譜をDiTへ拡張し、さらに局所最適輸送を境界学習へ組み込む。

入力RGB画像をVAEで潜在へ符号化し、DiTがRGB潜在から深度潜在への速度を固定時刻で予測する。推論は速度予測を1回だけ実行し、得た深度潜在をVAEで復号する。

Stage 1は、latent、画素、勾配、表現の四つの信号で大域構造と局所変化を学ぶ。iREPA-depthは学習時のみ正解深度由来のDINOv3特徴を提供する。Stage 2はStage 1のチェックポイントから開始し、VAEデコーダも更新対象にする。SinkLossが小ブロック内のラベル位置曖昧性を吸収し、高周波境界を復元する。役割分離により、初期から局所対応を緩めて大域配置を損なうことを避ける設計と解釈できる。

正解深度はlog変換され、有効画素の2・98パーセンタイルでクリップ後、負の1から1へ正規化される。RGB潜在を $z_I$、深度潜在を $z_d$、固定時刻を $t=0.5$、DiTを $f_\theta$ とすると、学習対象の速度は $v=z_I-z_d$ であり、単一ステップ推論は次の関係で表される。

ここで $\hat z_d$ は予測深度潜在、$\theta$ は学習対象パラメータである。式は反復サンプリングではなく、一度の速度予測で深度潜在へ移ることを示す。

Stage 1の損失はlatent MSE、pixel L1、spatial-gradient L1、iREPA-depthの加重和で、係数は順に1.0、1.0、5.0、0.2である。勾配項は局所変化を、iREPA-depthはDINOv3教師特徴との内部整合を担う。

Stage 2では、各5×5ブロックで予測値と正解値の絶対差を輸送コストとし、エントロピー正則化付きSinkhorn–Knopp法でsoft assignmentを求める。設定はブロック幅5、正則化温度0.1、無効画素ペナルティ100万、反復5回である。目的は同一座標の一致ではなく、局所深度集合の一致である。

バックボーンはQwen-Image-Edit-2509で、4-bit量子化とrank-128 QLoRAを用いる。Stage 1ではVAEを固定する。Stage 2ではVAEデコーダを解凍し、iREPA-depth重み0.2、SinkLoss重み1.0で追加学習する。

HyperSimとvKITTIを90対10でサンプリングし、単一32GB GPU上でStage 1を16万step、Stage 2を3万step実行する。この設定は、大規模な教師付き深度データを新規に集めるのではなく、生成DiTの事前学習容量を比較的小規模な合成教師データへ転用するものだ。ただし「単一GPUで学習可能」は低計算量一般を意味せず、高解像度推論には大きなメモリーと時間を要する。

zero-shot深度評価では、各予測をRANSACで正解metric depthへscale・shift整合した後、AbsRelとδ1を算出する。この手順は外れ値への頑健性を持つ一方、絶対尺度の誤差を評価から除く。したがって、metric depthを必要とする用途への外的妥当性は限定される。

境界評価はHyperSim test setのSEE3/5/7を使う。異なる幅で境界周辺を測ることで、平均画素誤差では捉えにくい細線や輪郭を評価する。SinkLossの妥当性にはAbsRelとSEEの両方が必要で、一方だけならトレードオフを見落とす。

比較可能性にも条件がある。Table 1は学習画像500万枚超の手法をランキング対象外とする。またπ³のScanNet値は学習データ重複のためzero-shotではない。従ってSOTA主張は、論文が定める学習規模とデータ重複条件の範囲で読むべきである。

著者らはKITTIとETH3DでAbsRel 5.4、2.8を報告した。比較可能な学習規模で従来最良のFE2Eは6.5、3.8であり、要旨は相対改善を16〜26%とする。HyperSimではSEE3/5/7が0.352/0.333/0.320で、PPDの0.404/0.385/0.371、InfiniDepthの0.470/0.451/0.436を下回る。

計算性能は1024²で1.9秒・16.9GB、2048²で9.6秒・29.3GBである。2048²ではPPD、Lotus-2、FE2Eが同条件でメモリー不足となる一方、1024²ではInfiniDepthの0.2秒、PPDの1.4秒より遅い。高解像度実行可能性と最速性は別の結論である。

他の密な回帰では、法線推定のSAEE3/5/7が11.25/9.42/8.53から10.76/8.86/7.99へ改善したが、平均角度誤差は18.53から18.84へ悪化した。アルベド推定はPSNR 20.78、SSIM 0.811、LPIPS 0.195で、PSNRとLPIPSは比較中最良、SSIMは非最良だった。

QwenバックボーンのSinkLossアブレーションでは、5データ平均AbsRelが4.10から4.12へ微悪化する一方、SEE3/5/7は0.449/0.429/0.414から0.352/0.333/0.320へ改善する。Stable Diffusion V1.5とFLUX.2 kleinでもSEE改善が報告され、特定バックボーンだけの現象ではない証拠がある。ただし平均深度誤差を一貫して改善する要素ではない。

iREPA-depthの16万step比較は、標準指標で一様な利得を示さない。なし対ありのAbsRelはNYUv2で3.62対3.68、KITTIで5.27対5.30、ETH3Dで2.84対2.68である。δ1差も小さく、著者らは長時間学習で量的差が縮む一方、視覚品質の改善が残ると分析する。表現整合の価値は、長時間学習後の平均指標だけでは確立しにくい。

失敗領域は反射、動き、デフォーカスである。単一の決定的深度を返す設計は、観測自体が多義的な場所の不確実性や多層構造を表現しない。

SinkLossによるSEE改善は、より正確な3次元理解だけでなく、レンダリング由来の局所ラベルノイズへ過適合しなくなった効果とも解釈できる。平均AbsRelの微悪化が許容可能な知覚的トレードオフか、幾何整合性の劣化かは、点群化や下流処理による評価なしには確定しない。

また、zero-shot性能は2段階レシピだけでなく、大規模画像編集DiTの事前知識に依存する。QLoRA、深度正規化、iREPA-depth、SinkLoss、デコーダ解凍が統合された結果であり、全ての相互作用が完全に分離されたわけではない。iREPA-depthの標準指標差が小さいことは、その寄与が境界外観や最適化経路に限られる可能性も残す。

主要評価がaffine alignment後であるため、絶対metric scaleの推定能力は示されない。大規模バックボーンは実時間処理に不向きで、2048²では29.3GBを消費する。反射、動き、デフォーカスの曖昧性も残る。

評価ラベル側では、透明物と細構造の正解深度に確率的ノイズがあり、画素指標が望ましい形状と一致しない場合がある。これはSinkLoss導入の根拠であると同時に、その効果を同じデータで測る際の解釈上の制約でもある。比較順位は学習規模で対象を限定し、一部手法にはデータ重複もあるため、全手法への無条件の優位性は支持されない。法線結果は、局所境界の改善がタスク全体の平均精度を悪化させ得ることも示す。

第一に、局所ブロック幅、正則化温度、対応反復数が境界と大域誤差のPareto関係をどう変えるかは、提示された固定設定からは分からない。第二に、SEE改善が下流の点群、再構成、編集に実質的な利得を与えるかを直接測る必要がある。第三に、ラベルノイズと実際の複数解を区別する不確実性モデルや多層深度表現が必要である。

さらに、metric scaleを必要とする条件、実時間制約、32GB未満のGPUでの高解像度処理は別評価を要する。iREPA-depthについては、視覚品質を再現可能な指標へ落とし込み、長時間学習後にも残る寄与を分離することが課題となる。他の密な回帰へ展開する際も、局所集合整合が対象量の物理的意味を壊さないかを個別に検証すべきである。

アブレーションが示す中心的な含意は、境界品質を改善する損失が、平均誤差を最小化する損失と同じ方向を向くとは限らないことである。局所ラベル対応が曖昧な密な回帰では、SinkLoss型の集合整合を追加し、用途ごとに許容可能なトレードオフを選べる可能性がある。ただしHyperSimの正解ノイズが効果の一因なら、SEE改善だけを幾何理解の向上とは呼べない。下流形状、別データ、標準誤差、計算負荷を共同評価して初めて、局所対応を緩める設計判断を正当化できる。

生成DiTを単一ステップ深度回帰へ転用すると、VAEの高周波損失、過平滑化、flying pixelsが残る。論文は、推論経路を増やさずに内部表現と局所境界を改善し、out-of-distribution入力へ汎化できるかを検証する。

Stage 1は4-bit QLoRAでlatent、pixel、gradient、iREPA-depth損失を最適化する。Stage 2はVAE decoderを解凍し、5×5ブロック内の予測・正解値をSinkhorn OTで対応させるSinkLossを追加する。前者はdepth-derived semantics、後者は局所ラベル曖昧性を扱う。

著者らはKITTI/ETH3Dのzero-shot AbsRel 5.4/2.8を報告し、比較可能な学習規模の従来最良6.5/3.8を改善した。SinkLossは平均AbsRelを4.10から4.12へ微悪化させる一方、HyperSim SEE3/5/7を0.449/0.429/0.414から0.352/0.333/0.320へ改善した。

主要深度指標はRANSAC scale-shift alignment後で、metric scale推定を評価しない。比較ランキングは500万枚以下の学習規模に限定される。大規模バックボーンは実時間用途に不向きで、反射、運動、デフォーカスの曖昧性も残る。

SinkLossのアブレーションは、局所境界品質と平均深度誤差が異なる目的であることを示す。ラベル対応が局所的に曖昧なdense regressionでは、pointwise lossに局所集合整合を併用する余地がある。ただしground truth自体にノイズがあるため、SEE改善を幾何理解の改善と解釈するには別データと下流評価が必要である。

単眼深度はill-posedであり、生成モデル転用はOOD generalizationに有望だが、multi-step samplingは高コストである。単一ステップVAE-based estimatorでは高周波細部の消失、境界の過平滑化、point cloudのflying pixelsが残る。本研究は、DiT capacityを維持したまま単一ステップ推論を実現し、境界品質とzero-shot精度を改善できるかを問う。

先行研究は、multi-step diffusion、single-pass distillationまたは回帰化、coarse estimateの併用、extended VAEなどで速度と品質を調整してきた。representation alignmentも導入されているが、主にRGB-derived teacher featuresを用いる。これに対し本研究は、GT depth由来の意味・幾何特徴と、局所GT correspondence noiseを許すOT lossを2段階で組み合わせる。Marigold系の生成モデル転用をDiT backboneへ拡張する位置付けである。

Qwen-Image-Edit-2509を4-bit quantizationし、rank-128 QLoRA adaptersを学習する。Stage 1はVAEを固定し、latent MSE、pixel L1、spatial-gradient L1、iREPA-depthを係数1.0、1.0、5.0、0.2で結合する。Stage 2はStage 1 checkpointからVAE decoderも解凍し、iREPA-depth 0.2とSinkLoss 1.0で境界をrefineする。

GT depthはlog変換し、有効画素の2nd/98th percentileでclip後、[-1,1]へ正規化する。RGB latentを $z_I$、depth latentを $z_d$、固定時刻を $t=0.5$ とし、DiTは速度 $v=z_I-z_d$ を回帰する。推論は次の単一更新である。

$f_\theta$ はDiT、$\hat z_d$ は予測depth latentであり、その後VAE decoderで復号する。

iREPA-depthはGT depthを凍結DINOv3へ入力し、そのfeaturesをDiT hidden statesへ整合する。teacher branchはtraining-onlyである。SinkLossは非重複5×5 block内で絶対差costを構成し、エントロピー正則化Sinkhorn–Knoppでsoft one-to-one assignmentを求める。設定は温度0.1、invalid penalty 100万、5 iterationsである。

HyperSim/vKITTIを90:10でsampleし、単一32GB GPUでStage 1を160K steps、Stage 2を30K steps学習する。zero-shot depth evaluationではRANSACでpredictionをGT metric depthへscale-shift alignmentし、AbsRelとδ1を算出する。境界にはHyperSim test setのSEE3/5/7を用いる。

Table 1はtraining imagesが500万枚を超える手法をranking対象外とし、π³のScanNet値はtraining overlapのためzero-shotではない。この条件は比較解釈に必須である。

著者報告のKITTI/ETH3D AbsRelは5.4/2.8で、comparable-training-scaleのFE2E 6.5/3.8を下回る。Abstractは16〜26% relative improvementとする。HyperSim SEE3/5/7は0.352/0.333/0.320で、PPD 0.404/0.385/0.371、InfiniDepth 0.470/0.451/0.436より低い。

SinkLoss ablationでは5-dataset mean AbsRelが4.10から4.12へ悪化する一方、SEE3/5/7は0.449/0.429/0.414から0.352/0.333/0.320へ改善する。iREPA-depthの160K-step比較はdataset間で勝敗が分かれ、著者らはquantitative gapが縮小してもvisual quality gainが残るとする。

主な適用範囲はaffine-invariant relative depthと、高周波境界を重視するdense predictionである。surface normalではSinkLossがSAEE3/5/7を11.25/9.42/8.53から10.76/8.86/7.99へ改善する一方、4-set mean angular errorは18.53から18.84へ悪化した。albedoではPSNR 20.78とLPIPS 0.195が比較中最良だが、SSIM 0.811は最良ではない。cross-task transferは示されるが、全指標の同時改善ではない。

RANSAC-aligned評価はabsolute metric scaleを検証しない。latency/memoryは1024²で1.9秒/16.9GB、2048²で9.6秒/29.3GBで、最速ではなくreal-time用途に適さない。反射、motion、defocusは未解決で、uncertaintyやmulti-layer representationを持たない。HyperSimの透明物・細構造にはGT noiseがあり、pixel metricと望ましい形状が一致しない場合がある。training-scale filterを伴う比較であるため、unconditional SOTAとは解釈できない。

SinkLossがSEEを大幅に改善しつつmean AbsRelを微悪化させた結果は、local correspondence relaxationが平均精度と独立した品質軸を操作することを示唆する。境界とannotation uncertaintyが支配的なdense regressionでは、pointwise objectiveにlocal set matchingを加える設計が候補となる。ただしGT noiseが同じ評価系に含まれる以上、改善をgeometryそのものの向上と断定できない。別データ、downstream geometry、global error、計算量を共同評価する必要がある。

Monocular depth estimationは単一RGB観測から3D geometryを復元するill-posed inverse problemである。本論文はmetric depthではなくaffine-invariant depthを対象とし、global scaleとshiftを除いたscene geometryを学習・評価する。従って、主結果はmetric calibrationを要する用途へ直接移せない。

第二の前提は、dense GT correspondenceが局所的に確定しないことである。HyperSimのtransparent objectsやthin structuresではstochastic rendering artifactsがGT depth noiseを生み、geometrically plausibleなpredictionでもpointwise penaltyを受け得る。一方、対応を大域的に緩和すればspatial arrangementが失われる。SinkLossは曖昧性を5×5 local supportに限定して、この緊張を扱う。

Diffusion-based depth estimatorsはgenerative pretrainingによるOOD generalizationを活用するが、multi-step samplingのlatencyを持つ。single-pass variantsは推論を短縮する一方、VAE bottleneckによるdetail loss、over-smoothed discontinuities、point-cloud flying pixelsを残す。coarse prediction conditioningやextended VAEもこの問題を扱ってきた。

Representation alignmentは別のpretrained encoder featuresをteacherとして内部表現を改善するが、従来は主にinput RGB-derived featuresを用いた。iREPA-depthはGT depthをfrozen DINOv3へ入力し、semantic-geometric targetを構成する点で異なる。研究系譜としてはMarigold V1以降のgenerative model repurposingをDiTへ移し、local OT objectiveを加えたものと位置付けられる。

RGB imageとnormalized depthを同一VAE latent spaceへencodeする。DiTは固定時刻にRGB latentからdepth latentへのflow velocityを回帰し、inferenceでは1回のnetwork evaluationでdepth latentを得てdecodeする。

Stage 1はglobal structureとrepresentation qualityを確立する。latent-space regression、decoded pixel accuracy、spatial gradients、depth-conditioned representation alignmentを併用する。Stage 2はStage 1 checkpointを初期値とし、VAE decoderを解凍して高周波復元経路も更新する。SinkLossはpointwise correspondenceをlocal set correspondenceへ置換し、boundary supervisionのノイズ感度を下げる。teacher branchはtraining-onlyで、inference graphを増やさない。

GT depth $D$ はlog transform後、有効画素の2nd percentileと98th percentileでclipされ、[-1,1]へ正規化される。これはsample-wise scale/shift variationを除去する前処理である。

RGB latentを $z_I$、depth latentを $z_d$、固定時刻を $t=0.5$ とすると、target velocityとsingle-step predictionは次で与えられる。

ここで $f_\theta$ はparameter $\theta$ を持つDiT、$v$ はtarget velocity、$\hat z_d$ はpredicted depth latentである。式はpretrained multi-step flow modelをsingle-step endpoint regressorとして利用する関係を表す。

Stage 1 objectiveは四項の加重和である。

$\mathcal L_{lat}$ はlatent MSE、$\mathcal L_{pix}$ はdecoded depthのL1、$\mathcal L_{grad}$ はspatial-gradient L1、$\mathcal L_{iREPA}$ はGT-depth DINOv3 featuresとのrepresentation lossである。

Stage 2のSinkLossは各非重複5×5 blockでpredictionとGTのabsolute difference costを作り、entropy-regularized Sinkhorn–Knopp transport planを求める。設定は $K=5$、温度 $\tau=0.1$、invalid-pixel penalty $B=10^6$、5 iterationsである。pixel identityではなくblock-local depth multisetを整合するため、微小なedge displacementを許容する。

BackboneはQwen-Image-Edit-2509で、base weightsを4-bit quantizeしrank-128 QLoRA adaptersを学習する。Stage 1ではVAEをfreezeする。Stage 2ではdecoderをunfreezeし、iREPA-depth weight 0.2、SinkLoss weight 1.0で継続学習する。

Training dataはHyperSimとvKITTIを90:10でsamplingする。最終runはsingle 32GB GPUでStage 1を160K steps、Stage 2を追加30K steps実行する。これはsupervised depth corpusの規模を抑えたtransfer settingだが、pretraining自体の計算量を測る設定ではない。またsingle-GPU training feasibilityとhigh-resolution inference efficiencyは区別すべきである。

Zero-shot depth evaluationではpredictionをRANSACによりGT metric depthへscale-shift alignし、その後AbsRelとδ1を算出する。RANSACはoutlier robustnessを与えるが、absolute scale/offset errorを除去する。このため、reported depth accuracyはaffine-invariant geometryの精度である。

Boundary evaluationにはHyperSim test setのSEE3/5/7を使用する。複数support widthでedge qualityを測り、global pixel metricsから分離する。SinkLossの評価ではmean AbsRelとSEEを併記することが重要で、単一指標だけではトレードオフが見えない。

Table 1 rankingはtraining imagesが500万枚を超える手法を除外する。またπ³のScanNet resultはtraining overlapによりzero-shotではない。従って比較はuniformなopen-world leaderboardではなく、論文が定義したtraining-scale regime内の比較である。reported valuesはいずれも著者報告で、独立再現の証拠は与えられていない。

KITTI/ETH3Dのreported AbsRelは5.4/2.8で、comparable-scale prior bestであるFE2Eの6.5/3.8を改善する。Abstractはrelative improvementを16〜26%と記述する。HyperSim SEE3/5/7は0.352/0.333/0.320で、PPD 0.404/0.385/0.371およびInfiniDepth 0.470/0.451/0.436より低い。

Runtime/memoryはsingle 32GB GPUで1024²が1.9秒/16.9GB、2048²が9.6秒/29.3GBである。2048²ではPPD、Lotus-2、FE2EがOOMとなる条件で実行可能だが、1024²ではInfiniDepth 0.2秒、PPD 1.4秒より遅い。従ってhigh-resolution capacityは示すがthroughput SOTAではない。

Dense-regression transferでは、normal estimationのSinkLoss追加によりSAEE3/5/7が11.25/9.42/8.53から10.76/8.86/7.99へ改善する一方、4-test-set MeanErrは18.53から18.84へ悪化する。AlbedoではPSNR/SSIM/LPIPSが20.78/0.811/0.195で、PSNRとLPIPSは比較中最良、SSIMはIID-in-the-wildの0.819を下回る。

Qwen SinkLoss ablationでは5-dataset mean AbsRelが4.10から4.12へ0.02悪化し、SEE3/5/7は0.449/0.429/0.414から0.352/0.333/0.320へ改善する。Stable Diffusion V1.5とFLUX.2 kleinでもSEE gainが報告され、backbone-specific artifactだけでは説明しにくい。一方、global metric改善を伴わないため、SinkLossはboundary-selective objectiveとして理解すべきである。

iREPA-depthの160K-step ablationは一貫したstandard-metric gainを示さない。なし対ありのAbsRel/δ1は、NYUv2で3.62/98.01対3.68/98.03、KITTIで5.27/97.39対5.30/97.43、ETH3Dで2.84/99.08対2.68/99.18である。著者らは長時間学習でquantitative差が縮むがvisual-quality benefitは残るとする。これは短期最適化補助、表現regularization、指標外品質など複数の解釈を残す。

Failure modesはreflection、motion、defocusであり、deterministic single-depth outputはaleatoric ambiguityやlayered geometryを表現しない。

SEE improvementは、geometric understandingの改善だけでなく、rendering-induced GT noiseへのrobustnessとして説明できる。SinkLossは局所multisetを合わせるため、edge位置の微小誤差を無視する。その結果がdownstream 3D reconstructionでも優れるかは、SEE単独では決まらない。mean AbsRelの微悪化も、知覚的に望ましいPareto trade-offか、global geometry degradationかを区別できない。

OOD performanceには、two-stage lossesだけでなくQwen image-editing pretraining、VAE latent prior、QLoRA adaptationが寄与する。提示されたアブレーションはSinkLossとiREPA-depthの一部寄与を示すが、normalization、decoder unfreezing、backbone priorとのinteractionを完全にfactorizeしない。特にiREPA-depthの長期metric gainが不均一なため、最終精度への必要条件とは断定できない。

第一に、affine-aligned metricsはmetric-scale predictionを評価しない。第二に、大規模backboneはreal-time deploymentに不向きで、2048²は29.3GBと9.6秒を要する。第三に、reflection、motion、defocusのambiguityが残り、uncertainty-awareまたはmulti-layer outputを持たない。

第四に、HyperSimのtransparent/thin structuresにはGT noiseがあり、SinkLossの動機であると同時に評価解釈のconfoundでもある。第五に、Table 1のtraining-scale exclusionと一部training overlapにより、unconditional SOTA claimは支持されない。第六に、normal estimationのMeanErr悪化は、boundary benefitがtask-level accuracyと衝突し得ることを示す。独立再現の資料も入力には含まれない。

SinkLossについては、block size $K$、temperature $\tau$、transport iterationsがglobal errorとboundary fidelityのPareto frontierをどう変えるかが未解明である。local permutation toleranceがedge topologyやthin-object connectivityを保存する条件も検証を要する。SEE gainをpoint-cloud artifacts、surface reconstruction、computational photographyなどのdownstream utilityへ接続する評価が必要である。

iREPA-depthについては、長期学習後に残るvisual gainを再現可能なmetricで測り、optimization accelerationとrepresentation regularizationを分離する余地がある。さらに、reflection、motion、defocus、transparent surfacesに対するpredictive uncertaintyやlayered depth、metric-scale recovery、低メモリー環境での高解像度推論は未解決である。他のdense regressionへ移す場合も、局所値集合の交換可能性が対象量の物理構造と整合するかをタスクごとに確認すべきである。

SinkLoss ablationの重要な示唆は、local correspondence relaxationがglobal regression accuracyとは別の制御軸になり得る点である。annotation uncertaintyとthin boundariesが支配的なdense taskでは、pointwise lossだけでなくlocal OT objectiveを導入し、用途固有のPareto pointを選ぶ設計が考えられる。しかしHyperSim GT noiseとSEEの関係を踏まえると、reported gainを真の3D geometry改善とはまだ同一視できない。cross-dataset robustness、downstream topology、global error、latencyを共同測定し、法線で観測されたMeanErr悪化も含めて判断する必要がある。