OTBench:表データの生成・欠損補完・予測を横断評価し、汎用モデルの得意分野を探る
予測に役立つ合成データと、元の分布に忠実な合成データでは、優れるモデルが異なる
One Table, Many Queries: Benchmarking Generalist Tabular Models Across Generation, Imputation, and Prediction
論文の書誌情報と関連リンク
- arXiv初回投稿日
- 掲載先
- arXiv preprint
ポッドキャスト形式で聴く
約6分AI生成の会話音声です。記事の要点を短くまとめています。
概要
予測に役立つ合成データと、元の表の分布を忠実に再現する合成データは、同じ評価では選べない。OTBenchは、表データの生成・欠損補完・予測を共通条件で調べるベンチマークだ。著者らの比較では、有用性で専門モデル群を上回る汎用モデルがある一方、忠実度では専門モデル群が優位だった。学習目的を追加する実験でも、目的を増やせば効果が積み上がるとは限らなかった。ただし、評価軸ごとに比較対象が異なり、目的追加の実験も限られたデータセットでの結果である。
なぜ注目されているか
取得時点のHugging Faceでは40 upvotesが記録され、論文ディスカッションには7コメントと著者の参加が確認できる。HFに記録された関連GitHubリポジトリのstarsは3だった。
議論全体へのリンク
なぜ重要なのか
同じ表を生成・補完・予測に使うなら、一つのモデルで扱える範囲はモデル選定に関わる。OTBenchが問い直すのは、複数タスクに対応するというだけで、そのモデルを汎用的と判断してよいかという前提だ。合成データで予測器を学習したい場合と、元データの分布を再現したい場合では、選択が変わり得る。必要な能力を分けて比較する根拠になるが、実際のターゲットや欠損条件での再評価は欠かせない。
この記事に出てくる言葉(6語)
- OTBench
表データの生成・欠損補完・予測を、共通のデータ分割と情報アクセス条件で比較する評価基盤。正式名称はOne Table Benchmark。
この論文では能力の順位比較、学習目的の追加実験、固定した汎用モデルと専門モデル群の比較を組み合わせる。
- 同時分布と条件付き分布
同時分布は複数の項目がどんな組み合わせで現れるかを表す。条件付き分布は、一部の項目が分かっているとき、残りがどう現れるかを表す。
この論文では生成は行全体の同時分布、補完と予測は観測済み項目を条件とする分布への問い合わせとして扱う。
- TSTR
合成データで予測器を学習し、実データのテスト集合で評価する方法。
この論文では実訓練データで学習した予測器との差を参照し、合成データが予測器の学習にどれだけ役立つかを測る。
- 共通支持集合
比較に必要な評価結果がすべてそろっている手法とデータセットの集合。
この論文では能力軸や比較の組み合わせごとに集合をそろえて順位を計算する。比較対象が変われば順位の意味も変わる。
- SAE
学習目的を一つ追加したとき、評価順位がどれだけ変わるかを表す指標。
この論文では補助目的の効果は、残る目的がある場合とない場合の追加差を平均する。生の精度改善量ではない。
- CAE
ある目的を追加する効果が、別の目的の有無によってどれだけ変わるかを測る指標。
この論文では負値は正規化順位上で効果が加算的でないことを示す。目的そのものが有害だという意味ではない。
1. 読む前に知っておきたいこと
同じ表に対する三つの問い
表データの生成は新しい行を作り、欠損補完は抜けた項目を埋め、予測は特徴から指定されたターゲットを推定する。別の作業に見えるが、いずれも同じ表に含まれる項目間の関係を使う。OTBenchは、この共通点を出発点にする。
ここで必要なのが、同時分布と条件付き分布の区別だ。同時分布は、行を構成する項目がどんな組み合わせで現れるかを表す。条件付き分布は、一部の値が分かっているときに、残りの値がどう現れるかを表す。生成では行全体を問い、補完では観測済み項目から欠損特徴を問い、予測では特徴からターゲットを問う。
ただし、同じ行を使っていても、見てよい情報が同じとは限らない。特に補完でターゲットを見られるかどうかは、問題の難しさに関わる。論文は、この情報アクセス条件を評価の契約として明示する。三タスクを一緒に扱うには、出力だけでなく、何を入力として許すかもそろえる必要がある。
対応できることと、能力を共有すること
従来は生成・補完・予測ごとに専門モデルと評価が発展してきた。複数タスクを扱うモデルもあるが、タスク別の順位だけでは三つの問いが残る。ある能力に強いモデルは別の能力にも強いのか。ある学習目的を追加すると別のタスクが改善するのか。一つの固定モデルが専門モデルの組み合わせに対抗できるのか、という問いだ。
これらは別々に確かめる必要がある。二つの能力の順位が似ていても、一方の目的で学習すれば他方が伸びるとは限らない。また、タスクごとにモデルを選び直せる成績と、同じモデルを使い続ける成績も区別すべきだ。
OTBenchは新しいモデル構造の提案ではない。この三つの問いに対し、順位の関係、学習目的を組み替えた対応比較、固定モデルと専門モデル群の比較を重ねる評価基盤である。
「役立つ」と「忠実」を分ける
本論文の中心にあるのは、合成データの有用性と忠実度の区別だ。有用性は、ここでは合成データが予測器の学習などに役立つかを指す。忠実度は、元の表の分布や項目間の関係をどれだけ再現しているかに関わる。両者を同じ品質だとみなすと、評価の読み方を誤る。
有用性を測る代表的な方法がTSTRである。合成データで予測器を学習し、実データのテスト集合で測る。実訓練データで学習した予測器を参照するため、指定ターゲットを予測する学習材料としての価値が分かる。一方、その成績だけでは表全体の分布に忠実だとは言えない。
OTBenchは生成7、補完6、分類4、回帰3の計20能力軸を設け、万能の総合点にはまとめない。指標の良い方向をそろえ、必要な結果がすべてある共通支持集合で順位に変換し、軸内では等重みで平均する。したがって、報告される順位差を、そのまま予測精度の差や相対改善率として読んではいけない。
2. 手法と評価
共通条件を作ってから順位を見る
データは56件を使う。24研究群に由来する492件のOpenML候補から、事前の実行可能性フィルタと手法に依存しないデータの特徴で50件を選び、TabStruct由来の構造因果モデルのデータ6件を加えた。評価するモデルの成績は選定に使っていない。
三タスクは原則として同じ80%の訓練集合、20%のテスト集合を共有する。前処理やカテゴリ集合、正規化、モデル選択は訓練側で決め、必要な検証集合も訓練側に置く。タスクごとのデータ分割の違いが比較に入り込むのを抑える設計だ。
能力間の順位比較では、二タスク以上に対応する手法をそろえ、軸の組み合わせごとにデータセット内の順位を計算する。順位の並びがどれだけ一致するかはSpearman相関で測る。さらに手法を一つずつ除外し、比較集合と順位を再計算するLOMOで符号の安定性を調べる。これは手法選択への感度診断であり、信頼区間ではない。
この比較の補完条件は、ターゲットを観測可能とし、値によらずランダムに欠けるMCAR、欠損率30%に固定する。ここで分かるのは、指定条件で能力が一緒に現れるかどうかまでである。
学習目的を七通りに組み替える
次に、目的を追加する効果を直接比較する。生成をG、補完をI、予測をPと呼び、G、I、P、GI、GP、IP、GIPの七条件で学習する。基本モデルはGaussian Copula、Forest-VP Joint、TabDiff、TabSyn、TabDDPMの五つ。5データセットと3乱数シードで、計525システムを構成した。データの4件は分類で、回帰はMiamiHousing2016の1件だけである。
同じ基本モデル内では訓練予算を固定し、有効にした目的から一様に選んで学習する。Gは全変数、Pは特徴を見てターゲット、Iはターゲットを隠して選んだ欠損特徴を評価対象にする。同じモデルで目的条件を変えることで、異なるモデル同士の比較よりも目的の有無に焦点を絞れる。
補完の評価は、MCAR、MAR、MNAR、混合の4欠損機構と、10%、30%、50%の3欠損率を組み合わせる。MARは観測済み情報、MNARは欠ける値自体に欠損が依存する条件である。この実験ではターゲットは観測できない。順位研究とは情報条件が違うため、両者の補完成績を同じ問題への回答として直結させることはできない。
追加効果と、効果の重なりを測る
目的追加の効果は、七条件内の順位を0から1に正規化して測る。補助目的の単一追加効果であるSAEは、受け手の目的に別の目的を足した差を、残る目的の有無について平均する。例えば予測目的が生成を助けるかは、GとGPの差、GIとGIPの差を平均して調べる。
交差追加効果のCAEは、一つの目的を固定し、別の目的があるときとないときで追加効果がどう変わるかを見る。負なら、順位尺度上で効果が重なるなど、単純に足し合わせられないことを示す。単独の目的を学習すると品質が落ちる、という判定ではない。
不確実性は、基本モデル、データセット、シードを再標本化する2,000回のbootstrapで評価する。完全な頑健性の判定には、区間がゼロを含まないことに加え、多重比較補正、効果量、評価対象の十分さ、基本モデル間の符号一致も求める。
ただし、目的の有無によって推論時の条件付け規則も変わる場合がある。補助SAEは受け手の推論規則を固定するが、IやP自身の目的を加える比較と一部のCAEでは、学習目的だけの効果を切り離せない。
一つのモデルを使い続ける比較
最後に、モデルと問い合わせを処理するアダプターを固定したまま、三タスクを評価する。アダプターとは、各モデルで生成や補完への問い合わせを扱う仕組みだ。数値忠実度、カテゴリ忠実度、下流有用性の三プロフィールを別々に作り、それぞれで比較可能な共通データ集合を使う。
専門モデル群も比較相手として固定する。有用性は生成にARF、補完にDiffPuter、予測にRandom Forestを使う。数値忠実度はARF、MissForest、LightGBM、カテゴリ忠実度はARF、MissForest、CatBoostの組み合わせである。データセットごとに専門モデルを選び直す比較ではない。
TabPFN-3、TabICLv2、LimiX-2は、データセット固有の重みの微調整なしで評価する。ただし、固定したモデルという表現は、全タスクが共通の出力機構を使うという意味ではない。成績はアダプターを含む推論システム全体の能力を表す。
3. 結果と限界
有用性と忠実度で優劣が分かれた
著者らの順位比較では、生成のTSTRと有用性複合軸は、補完・分類・回帰の各軸と正の関係を保った。一方、生成忠実度は分類の全軸と負の関係を保った。合成データの予測への有用性が高いことと、分布への忠実度が高いことは、同じモデル順位につながらなかった。
固定モデル比較でも、この違いが表れた。有用性の26データセットでは、三タスクのうち最も低いパーセンタイルを比べると、専門モデル群に対する差はTabICLv2がプラス0.157、95%信頼区間は0.078〜0.229だった。TabPFN-3はプラス0.142、区間は0.051〜0.227である。どちらも生の精度差や、何%改善したという値ではない。
数値忠実度の11件では、固定専門モデル群が全汎用モデルを上回った。カテゴリ忠実度の3件でも、全汎用モデルの差はマイナス0.396〜マイナス0.261で、すべての区間がゼロ未満だった。
これは、有用性を重視する用途で汎用モデルを候補に含める根拠にはなる。ただし、プロフィールごとにデータ集合が異なる。同じ全データで有用性と忠実度の逆転を確認したわけではなく、特にカテゴリ忠実度の対象は少ない。
目的を増やす利益は一様ではない
目的介入で最も一貫していたのは、受け手自身の目的を追加する効果だった。著者らによると、表示した19品質軸すべてで正となり、各軸で他目的の補助効果を上回った。ただし、これは単独目的だけで学習する条件が常に最良だったという意味ではない。
生成目的を補助として加える効果は、補完6軸すべて、予測7軸中5軸で正の平均だった。しかし、報告された40補助効果のうち、完全な頑健性基準を満たしたものはゼロだった。広い範囲で正の傾向があることと、基本モデルをまたいで確かな利益があることは分けて読む必要がある。
予測目的から生成への効果も不確実だ。TSTR-gapの順位SAEは0.092だが、95%区間はマイナス0.041〜0.225でゼロを含む。より広い有用性複合軸はマイナス0.008、区間はマイナス0.048〜0.036だった。指定ターゲットへの有用性が改善する可能性はあっても、生成全般の改善を確立した結果ではない。
さらに、予測目的を固定して生成と補完を組み合わせたCAEでは、完全基準を通った7効果がすべて負だった。生成忠実度はマイナス0.468、補完の数値点精度はマイナス0.475などである。効果が足し算にならない証拠だが、その原因が勾配の干渉やモデル容量の競合なのかまでは識別していない。
結論を持ち出せる範囲
この研究は、共通条件で複数の問いを重ねた著者らの評価であり、外部による独立再現ではない。目的介入は5基本モデル・5データセットに限られ、回帰は1件である。固定予算では、目的を追加すると各目的への更新配分も変わる。順位差から学習上の作用機序や、別のデータでの改善量を読み取ることはできない。
評価の欠落もある。TabDiffには分類確率の出力がなく、一部の軸が利用できない。補完の再評価では予定270セル中264セルが全12欠損設定を完了し、メモリ不足の6セルは除外された。比較可能な集合をそろえる設計は必要だが、そこで得た結論の適用範囲も、その集合に制約される。12設定の平均だけでは個々の欠損条件の成績を代替できない。
凍結した基盤モデルの成績も、事前学習、表現、出力の仕組みのどこが効いたかを分離していない。カテゴリ復元や忠実な行全体の生成を改善するには、それらの寄与を切り分ける追加実験が必要だ。また、供給資料には具体的な推論時間値がなく、速度や費用の優位は判断できない。
次に確かめたいのは、対象データとターゲットを変え、実際の欠損条件でも有用性と忠実度の違いが保たれるかである。プライバシーの経験的診断も形式的保証にはならず、集約成績だけで公平性や高リスク用途への適合性まで認めることはできない。
この研究から考える
ここからは、論文の結果を踏まえた編集上の考察です。
有用性では一部の汎用モデルが専門モデル群を上回り、忠実度では専門モデル群が優位だった。この観測から考えられるのは、合成データの選定で、TSTRによる予測への有用性と、分布・依存関係への忠実度を別条件として確認することだ。一つの総合順位で選ぶより、何に使うデータなのかを評価に反映できる。ただし、両プロフィールは比較データ集合が異なり、カテゴリ忠実度は3件に限られる。対象の表、指定ターゲット、欠損条件で優劣が維持されるかを確かめることが、この判断を実務に移す条件となる。