生成モデルによる視覚認識セグメンテーション深度・表面法線推定

Open Vision Banana:画像生成モデルをセグメンテーションと幾何推定に転用する公開レシピ

認識結果をRGB画像として生成し、配色を変えた多数決でクラスと色の取り違えを減らす

Open Vision Banana: A Fully Open Recipe for Generative Visual Perception

論文の書誌情報と関連リンク

ポッドキャスト形式で聴く

約7分

AI生成の会話音声です。記事の要点を短くまとめています。

概要

Open Vision Banana(OVB)は、公開画像生成モデルを、画像の領域分割や深度推定にも使うための公開レシピだ。認識結果をRGB画像として描かせ、色からクラスなどを読み戻す。特徴は、クラスと色の対応を変えて複数回生成し、多数決で取り違えを減らすことにある。著者報告では、Cityscapesのゼロショット評価で20回統合が73.9 mIoUとなり、Vision Bananaの掲載報告値69.9を上回った。ただし、推論条件を完全に揃えた比較ではなく、追加生成の時間や費用も未評価だ。

著者をもっと詳しく知る(全7名)

論文と確認可能な公式情報に基づき、著者の所属と研究背景を掲載しています。

全著者と所属

  1. Arpit Jadon
    所属情報なし
  2. Valentinos Pariza
    所属情報なし
  3. Jona Ruthardt
    所属情報なし
  4. Ryousuke Yamada
    所属情報なし
  5. A. Sophia Koepke
    所属情報なし
  6. Andrei Bursuc
    所属情報なし
  7. Yuki M. Asano
    所属情報なし

確認できた研究背景

Arpit Jadon
代表的な論文
: 本論文が生成モデルの視覚理解を利用する研究として引用する「Test-time modification: Inverse domain transformation for robust perception」(2026)の共著者。
Jona Ruthardt
代表的な論文
: 「Steerable visual representations」(2026)の共著者。OVBの参照領域セグメンテーション用学習データでは、同研究のMapillary VistasおよびLVISの注釈を利用する。
Yuki M. Asano
代表的な論文
: 「Test-time modification: Inverse domain transformation for robust perception」と「Steerable visual representations」(ともに2026)の共著者。本論文は前者を生成モデルの視覚理解に関する先行研究として引用し、後者の注釈を学習に利用する。

なぜ注目されているか

11月17日の取得時点で、Hugging Faceでは40 upvotesと3件のコメントが観測された。同じ取得記録にはGitHub starsが81と記載されている。

議論全体へのリンク

なぜ重要なのか

生成モデルの認識ミスには、領域を見つけられない場合と、見つけた領域を指示どおりの色で表せない場合がある。OVBの分析は、この二つを分けると、追加学習と読み出し側の工夫のどちらを検討するか判断しやすくなる可能性を示す。公開レシピはその追試に役立ち得るが、低遅延での優位性や絶対距離の精度まで裏付けるものではない。

この記事に出てくる言葉(6語)
生成的視覚認識

認識結果を画像として生成し、その画像から領域や幾何情報を読み取る方法。

この論文では

同じ公開生成器から、セグメンテーション、深度、表面法線をRGB画像として出力する。

意味セグメンテーション

画像の画素ごとに、道路や車などのクラスを割り当てる課題。

この論文では

クラスごとの指定色で画像を塗り、生成された色をクラスに戻す。

凡例多数決

クラスと色の対応表を変えて複数回予測し、読み戻したクラスの多数決で結果を統合する方法。

この論文では

生成シードを固定し、配色を変えることで不安定な色・クラス対応を修正する。

mIoU

mIoU

予測領域と正解領域の重なりを、両者を合わせた領域に対する割合で測り、クラス間で平均した指標。高いほどよい。

この論文では

CityscapesやCOCO-Objectの意味セグメンテーションを評価する。

ゼロショット

ZS

ここでは、評価対象データセットを訓練から除外する設定。

この論文では

認識タスクそのものは学習している。評価性能を使ったモデル選択も行う。

oracle再ラベル

正解を参照し、予測した各領域に正解側の多数クラスを割り当て直す診断。

この論文では

色とクラスの対応誤りを除いたとき、領域の形状がどこまで正しいかを調べる。実運用の予測性能ではない。

1. 読む前に知っておきたいこと

認識を「画像編集」に置き換える

画像生成モデルに、画像を理解する仕事も任せられるか。OVBはこの問いを、認識結果の出力形式から考える。意味セグメンテーションは、画像の画素ごとに道路や車などのクラスを割り当てる課題だ。通常のラベルの代わりに、道路を指定色で、車を別の指定色で塗った画像を生成できれば、その色を読み戻して認識結果にできる。

例えば、道路画像から道路と車の領域を確認する作業を考えよう。入力画像と「道路をこの色、車をこの色で塗る」という指示を渡し、生成器に塗り分け画像を出させる。ここで求めるのは、見栄えのよい編集画像ではなく、各画素がどのクラスに属するかを表した画像である。色は認識結果を運ぶための符号になる。

先行するVision Bananaも、認識をこのような条件付き画像編集として扱う。ただし、基盤モデル、データ、重み、コードなどが非公開で、どの設計が性能を支えるか検証しにくい。OVBは公開生成器でも成立するかを調べ、再現に必要なレシピを示す研究だ。

領域の正しさと、色の正しさは別問題

この出力形式では、認識と表現の両方を成功させる必要がある。先ほどの道路画像で、車の輪郭を正しく囲めても、道路用に指定した色で塗れば、読み出し結果は道路になる。反対に、指定色を守っていても輪郭がずれていれば、領域の予測は誤っている。最終スコアだけでは、この二つを区別しにくい。

さらに、車を常に同じ色で学習すると、モデルがクラスと色の固定した結び付きを覚え、別の配色指示に対応できない可能性がある。OVBは学習時にクラスと色の対応をランダムに変え、指示された対応表、つまり凡例に従わせる。それでも残る対応の不安定さを、推論時の複数回生成で補う。

したがって、本研究の中心は、生成器に認識課題を追加できたという点だけではない。生成された領域が悪いのか、その領域に付いた色の解釈が悪いのかを切り分け、後者に働きかける方法を検証した点にある。

ゼロショットの意味を揃えて読む

OVBの基盤は、公開重みのFLUX.2-Kleinの4B版と9B版だ。著者らは、それぞれにゼロショット版と非ゼロショット版を用意し、計4モデルを評価した。ここでゼロショットとは、評価対象のデータセットを訓練から除くという意味で、セグメンテーションなどのタスクを一度も学習しないという意味ではない。

公開訓練データのプールは、ゼロショット用が210万組、非ゼロショット用が380万組。後者には、一部の評価対象データセットの訓練分割が加わる。認識だけでなく、画像編集、テキストからの画像生成、元画像の再構成も混ぜ、基盤モデルの能力の保持を目指す。

ただし、訓練から評価データセットを外していても、評価結果と完全に独立したモデル選択ではない。最終モデルでは、評価ベンチマークの全体性能を使って学習途中の複数の重みを選び、平均している。この選択効果を含むゼロショット結果として読む必要がある。

2. 手法と評価

同じRGB出力を、課題ごとに読み戻す

OVBは、入力画像と指示からRGB画像を生成し、課題ごとに決めた規則で予測へ戻す。課題別の専用出力ヘッドは追加しない。意味セグメンテーションでは黒を背景とし、生成画素を指定色または背景の最も近い色へ割り当て、その色に対応するクラスを得る。言葉で指定した領域を切り出す参照領域セグメンテーションでも、対象を指定色で塗り、領域か否かのマスクに戻す。

深度では、近い場所ほど明るいグレースケール画像を生成する。ただし、表すのは画像ごとに正規化した逆深度で、絶対的な距離の尺度は保持しない。表面法線、つまり表面が向く方向は、方向成分をRGBの値に対応させる。同じ画像出力でも、色が表す意味は課題によって異なる。

適応学習では基盤生成器のTransformer全体を更新し、画像と潜在表現を変換するVAEとテキストエンコーダは固定する。重要なのは、既存生成器の出力経路を認識にも使うことだ。RGB画像に揃えたからといって、すべての課題の誤差や評価条件まで同じになるわけではない。

配色だけを変えて多数決する

凡例多数決では、生成の乱数を決めるシードを固定し、クラスと色の対応だけを変える。道路画像なら、道路と車に割り当てる色を変えて再び生成する。それぞれをクラスに読み戻した後、画素ごとに最も多く予測されたクラスを採用する。色そのものを平均する方法ではない。

この方法が狙うのは、ある配色では車を道路の色で塗ってしまっても、別の配色では正しく対応できるという不安定さだ。同じ場所の予測が配色を変えても揃うなら、そのクラスを残しやすくなる。一方、領域を一貫して見落とす場合まで、多数決で直せるとは限らない。

表に載る固定条件は、Cityscapesが20回、COCO-Objectが90回の統合だ。COCO-Objectでは80クラスを各回で3群に分けるため、1回につきさらに3つのサブ推論を要する。追加学習なしで精度を上げる方法だが、追加の計算を必要とする。投票の一致率も、予測の一貫性であり、正しさを保証する確率ではない。

精度と診断を別々に測る

意味セグメンテーションの主な指標はmIoUだ。予測領域と正解領域の重なりを、両者を合わせた領域に対する割合で測り、クラス間で平均する。高いほどよい。著者らはCityscapesとCOCO-Objectで、単回生成と凡例多数決を比較し、先行手法の掲載値とも対照した。

仕組みを確かめるため、通常の読み出しに加えて、正解を使うoracle再ラベルも行った。これは、予測した各領域に、その領域内で正解側に最も多いクラスを割り当て直す診断だ。色とクラスの取り違えを除いてもスコアが変わらなければ、多数決の効果は主に対応誤りの修正と考えられる。正解を使うため、本番で得られる性能ではない。

配色などの設計分析は、主に9Bを最終学習より短い37.5Kステップで比較し、一部は6Kや50Kステップを使う。こうした比較は設計の影響を調べる材料になるが、縮小予算で有利な設定が、全規模でも最適だと確定するものではない。

固定色への依存を確かめた実験

配色の重要性は、6Kステップの比較で明瞭に出た。著者報告では、固定色で学習したモデルのCityscapes性能は、固定色の評価で53.9 mIoUだったのに対し、色を変えると7.1へ下がった。ランダム色で学習したモデルは、色を変えた評価でも51.0だった。クラスを見分けることと、任意の凡例に従うことの違いを示す結果だ。

ただし、学習を工夫すればすべてが同時によくなるわけではない。再生データとは、適応中も元の編集などの課題を学ばせるデータだ。その比率に全タスク共通の最適値は見つかっていない。50Kステップの分析では、編集と恒等再構成の比率を25%から0%にすると、編集評価のUGEは4.0から2.3へ下がった。

幾何タスクの変更にも、別タスクの悪化を伴う場合がある。組合せ実験で3シードを反復したのは完全な組合せだけで、法線の改善を実験間の変動から分離できない点も残る。個別に有効な設計を足し合わせれば必ず改善する、という結果ではない。

3. 結果と限界

改善の中心は、色とクラスの取り違え

著者報告では、Cityscapesの9Bゼロショット版は、単回平均65.6 mIoUから20回統合で73.9になった。Vision Bananaの掲載ゼロショット報告値は69.9で、OVBが上回る。ただし、推論回数などを揃えた独立再評価ではないため、同じ計算条件での優劣までは示さない。

別の診断表では、通常の読み出しが単回65.4から20回統合73.9へ上がる一方、oracle再ラベルは85.9から85.6で、ほぼ変わらなかった。単回平均65.6とは集計条件を区別すべき数値だ。この診断は、領域形状が大きく改善したというより、色とクラスの対応誤りが修正されたという解釈を支える。

COCO-Objectでは、9Bゼロショット版が単回平均38.7から90回統合53.0 mIoUへ改善した。非ゼロショット版は45.0から59.3だった。論文の「最大15.0ポイント改善」は、評価曲線のピークと初回との差であり、この固定90回と単回平均の差ではない。Cityscapesの「最大8.7ポイント」も同様だ。

認識全般で追い付いたわけではない

結果は課題ごとに異なる。言葉が指す領域を取り出す参照領域セグメンテーションや、物体を個別に分けるインスタンス認識では、Vision Bananaなどとの差が残る。主比較の一部には、外部のマルチモーダル言語モデルによる質問の書き換えや物体の存在判定も含まれる。生成器単独の能力を比較した結果としては読めない。

幾何推定でも、非ゼロショット学習による改善は一様でない。表面法線の平均角度誤差は、小さいほど予測方向が正確だ。9Bをゼロショット版から非ゼロショット版にすると、NYUv2では19.85度から13.51度へ改善したが、ScanNetでは19.07度から19.86度へ悪化した。追加データがどの評価先にも同じ利益をもたらすわけではない。

深度の評価には、さらに大きな条件がある。各画像の正解逆深度に合わせ、予測の尺度とずれを調整してから測っている。これは相対的な奥行きの評価であり、メートル単位の絶対距離の復元を示さない。Vision Bananaの絶対深度や、独自の前処理条件を保った専門モデルの参考値との単純比較も避ける必要がある。

生成能力の保持にも代償がある

認識を学んだ後も、元の画像編集能力が一様に保たれたわけではない。著者らのImgEdit-Bench評価では、9B非ゼロショット版のBasicは基盤モデルと同じ3.89だった一方、UGEは4.03から3.68へ下がった。どの側面を測るかで、保持の見え方が変わる。

テキストからの画像生成では、GenAI-Benchの全1,600指示を使った自動評価で、4モデルすべてが基盤モデルより低かった。例えば9Bゼロショット版のVQAScoreは0.8123から0.7823へ低下した。これは、生成画像を指示との整合性に関して自動採点した結果で、利用者による総合的な品質評価と同一ではない。

編集と生成の評価は各3生成シードの平均で、評価ベンチマーク自体は訓練対象外だった。ただし、自動採点には不確実性があり、論文の定性的な画像例にも選択効果がある。掲載例が良好だからといって、出力全体の品質や、元の生成能力の完全な保持まで結論できない。

次に必要なのは、同じ予算での追試

OVBは、データ構築・処理、学習・評価コード、最終モデルや比較実験用のチェックポイントの公開を報告している。配色やデータ配分の影響を追試し、生成器による認識の誤りを調べる研究には、有用な出発点になり得る。ただし、ここで扱った数値は著者報告であり、独立した再現確認ではない。

実用上の判断で不足するのは、追加生成に見合う改善かという証拠だ。供給論文には実測推論レイテンシや、同じ時間予算での比較がない。20回や90回の統合で精度が上がることから、速度や費用の面でも有利だとは言えない。Cityscapesでは改善曲線が10〜15回ほどで約74へ飽和するが、それだけで用途ごとの適切な計算量は決まらない。

今後見るべきなのは、対象データでも色対応の誤りが主要因なのか、複数回生成の改善が再現するか、同じ推論時間で代替手法と比べてどうかである。絶対距離、低遅延、基盤モデルと同じ生成品質が必須の判断には、それぞれ追加の検証が要る。

この研究から考える

ここからは、論文の結果を踏まえた編集上の考察です。

Cityscapesでは、凡例多数決によって通常のスコアが上がっても、正解で領域を再ラベルした診断スコアはほぼ変わらなかった。この観測からは、生成器の認識性能が不足して見えるとき、追加学習の前に、領域の誤りと色・クラス対応の誤りを分けて調べる判断が考えられる。後者が支配的なら、読み出しや多数決を検討する理由になる。ただし、正解を使う診断を本番で使えるわけではない。他データでも同じ原因が支配的か、追加生成の時間に見合うかが確認されて初めて、この判断を広げられる。

ホーム画面に追加する

  1. Safariでこのページを開く
  2. ページメニューから「共有」をタップ
  3. 「ホーム画面に追加」を選択
  4. 「Webアプリとして開く」をオンにして「追加」をタップ

追加後は、ホーム画面のアイコンからSingularity Lensを開けます。