ImpossibleRubrics：生成ルーブリックを報酬信号として敵対的に検証する

証拠からは結論を出せないのに、はっきり断定するよう求められたとき、生成された採点表は「分からない」と正直に答えたものを正しく選べるのか。これが中心の問いである。

著者らは、証拠不足など6種類、169問の答えられない問題を用意した。たとえば、材料が足りないのに料理を完成させるよう求め、採点表を見た攻撃役が、そこに書かれた好ましい答え方をまねて高得点を狙う状況に近い。実際には料理ではなく、閉じた証拠と文章回答を使う。違反は問題ごとの証明書で確かめた。

固定した攻撃役、採点役、違反確認役のもとで、11種類の採点表の作り手は、偏りを抑えた150問の8〜26%で攻略されたと著者らは報告した。攻略とは、違反回答が正直な基準回答以上の点を取った場合だけを数える。選んだ難しい45問では最も低い値でも36%だったが、これは攻略されやすい問題を集めた結果で、一般的な割合ではない。

同じ45問の答えと点数を固定しても、違反確認役だけを替えると割合は33.3%、75.6%、66.7%になった。したがって、数字は採点表だけでなく確認方法にも左右される。有限の攻撃役が見つけた結果であり、最悪の場合を証明したものでもない。

採点表を細かく書けば安全になる、とは限らない。今回の観察からは、証拠に基づく自動採点を使うなら、公開前にわざと弱点を突く答えを試す判断が考えられる。ただし、その効果は言ってよいことを明記できる問題に限られ、確認役によって結果も変わる。

文章を自動で採点するとき、AIに採点表を作らせることがある。しかし、証拠が足りない質問では、正しい行動は不足を認めることだ。研究が問うのは、生成された採点表がその正直さを選ぶのか、それとも、採点表に合わせて具体的に作られた誤答を高く見るのかである。

これまでの試験は、良い回答と悪い回答を正しい順に並べられるか、採点役が文章の書き方や自分に似た回答を好まないか、答えるべきでないときに回答者が断れるかを主に見てきた。本研究は視点を変え、回答者だけでなく、生成された採点表そのものを弱点がありうる対象として扱う。

試験集には、証拠不足、引用の根拠不足、反対証拠の見落とし、誤った前提、すべてを並べられない要求、客観的な食い違いという6種類の答えられない問題が169件ある。さらに、答えられる対照問題が48件ある。各問題には、使ってよい閉じた証拠と、許される主張・禁止される主張を示す証明書が付く。

流れは、答案用のチェックリストを試す場面に似ている。まず作成役は、問題が答えられないとは知らされず、質問と証拠から採点表を作る。次に攻撃役は、その採点表、質問、証拠を読み、最高点を狙う回答を作る。採点役は、どちらが正直な基準回答か知らないまま、基準回答と攻撃回答を同じ採点表で0〜100点にする。最後に違反確認役が証明書との食い違いを調べる。チェックリストのたとえと違い、ここでは採点と違反確認の両方をAIが行うため、その判断自体にも不確かさがある。

攻撃回答が正直な基準回答以上の点を取り、しかも証明書違反と判定された場合だけを「攻略」と数えた。主な比較では攻撃役、採点役、違反確認役を固定した。偏りを抑えた150問と、3種類の作り手のうち少なくとも2種類が攻略された難しい45問を分けて報告した。48件の対照問題では、3種類の採点表が正答を誤答や断りすぎる回答より上に置けるかも調べた。

偏りを抑えた150問では、11種類の作り手の攻略率は8〜26%だった（本文Table 3）。難しい45問では最低でも36%で、証明書から作った参照用採点表は0/45だった。ただし両者は同じ証明書を使うため、0件は独立した安全確認ではない。単に「はっきり答え、曖昧さを罰する」共通採点表は64%攻略され、11種類中7種類が同率以上だった。著者らは、問題に合わせた詳しい基準が、攻撃役に誤った主張の作り方を示した可能性を挙げたが、原因を特定したわけではない。

この方法が合うのは、使える証拠を閉じて、言ってよいことと禁止することを書ける自動採点、要約、調査回答である。生成した採点表を、学習の点数や複数候補からの選択に使う前の弱点探しにも向く。証拠の境界を決められない開かれた話題へ、今回の割合をそのまま移すことには向かない。

難しい45問は意図的に選ばれ、一般の問題での頻度を表さない。主な表の多くは問題ごとに採点表を一度だけ作っており、作り直すと結果が変わった。同じ答えと点数でも違反確認役を替えるだけで33.3〜75.6%に動いた。参照用採点表と確認役は証明書を共有する。さらに、基準回答には必要事項の欠落や出典の示し方の不一致が見つかった。報告値は有限の攻撃役が発見した割合で、理論上の最悪値でも、実際の学習全体の効果でもない。

観察された8〜26%は、詳しい採点表を用意しただけでは証拠への正直さを守れない場合があることを示す。もし閉じた証拠で自動採点するなら、採点表を完成品と見なさず、攻撃回答を作って証明書で確認し、確認役を替えたときの幅も判断材料にする考え方がある。ただし、難しい45問の割合は一般化できず、どの確認役が最も正しいかも決まっていない。導入前に問うべきなのは「点数が安定したか」だけでなく、「確認方法を替えても同じ危険が見えるか」だろう。

研究が扱うのは、使える証拠があらかじめ閉じられ、その証拠では要求された結論を支えられない場面である。正直な回答は、食い違いや証拠不足を認めなければならない。ところが採点表が、具体性や断定を強く求めれば、証拠に反する回答の方が高得点になるおそれがある。この試し方には、許可・禁止する主張を証明書として十分に書けること、固定した基準回答が比較に使えること、AIの違反判定がある程度意味を持つこと、という前提がある。

従来の試験は、良い回答を悪い回答より上に置けるか、採点役が文体や自分に似た答えを好まないか、回答者が答えるべきでない場面で断れるかを調べるものが中心だった。本研究は、回答を採点するために生成された基準自体が、誤答を組み立てる案内図にならないかを問う。これは、回答者の正直さだけを試すのではなく、点数を生む仕組みを含めて試す見方である。

169件の答えられない問題は、証拠不足、引用根拠の欠落、反対証拠を使うわな、誤った前提、すべてを並べられない要求、客観的な食い違いの6種類に分かれる。48件の答えられる問題も用意した。各問題は質問、閉じた証拠、証明書の組である。証明書には、正直な回答がすべきこと、言ってはいけない主張、弱めて述べる必要、反対の証拠、点数だけを狙う行動、機械で確認する方法が書かれる。

料理のチェックリストを考えると流れが見えやすい。材料がないのに完成品を求められたなら、正直な人は不足を伝える。しかし、チェックリストに「香り、焼き色、食感を詳しく書く」とあれば、作っていない料理をもっともらしく説明する人が点を取りうる。論文では、作成役が質問と証拠だけから採点表を作り、問題が答えられないことは知らせない。攻撃役は採点表も見て最高点を狙う。攻略になるのは、攻撃回答が正直な基準回答以上の点を取り、同時に証明書違反と判定された場合だけである。この比較の限界は、料理なら人が材料を直接確かめられるが、実験ではAIが文章から違反を判断する点にある。

主な試験は、固定した攻撃役、採点役、違反確認役を使い、11種類の採点表作成役を比べた。採点役は、正直な固定基準回答と攻撃回答のどちらが基準か知らず、同じ採点表で0〜100点を付けた。偏りを抑えた150問は全体に近い比較用である。難しい45問は、基準に使った3種類の作成役のうち少なくとも2種類が攻略された問題を選んだ、弱点を強く試す集まりである。データ作成時には出典や証明書の整合を確認したが、この確認は実行時の各AIの判断まで保証しない。

結果を読むには、点数の条件と違反の条件を分ける必要がある。違反していても正直な回答より低得点なら攻略には数えず、高得点でも違反が確認されなければ数えない。答えられる48問では、3種類の採点表が正答を、断りすぎる回答や誤って断定する回答より上に置くかを確かめ、144通りすべてで正答が首位だった。ただし単純な共通採点表も通るため、これは試し方が大きく壊れていないかを見る粗い確認にとどまる。40回答を一人の著者が結果を知らずに確認した試しでは、元の違反確認役と38/40で一致したが、複数人同士の一致は測っていない。

偏りを抑えた150問では、11種類の作成役の攻略率が8〜26%だった。難しい45問では、生成された採点表の最低の一回値が36%で、証明書に忠実に作った参照用採点表は0/45だった。全問に同じ「決定的に答え、曖昧さを罰する」基準を使うと64%で、生成された11群のうち7群が同率以上だった。著者らは、問題専用の詳しい基準が、何を作り上げればよいか攻撃役に教えた可能性を述べる。ただし、これだけで原因が確定したわけではない。一般的な「証拠に忠実に」という一文を作成時に足しても、3種類で22%、36%、49%の攻略が残った。

同じ45問で採点表を複数回作り直すと、3種類の平均攻略率は63.3%、81.5%、82.2%となり、それぞれ一度だけ作ったときの71%、96%、98%より低かった。どの問題が失敗するかも作り直しに左右された。安全を促す一文の試しは、一種類の文面、3モデル、一回作成だけで、必要な回答まで断る副作用は測っていない。攻撃役を使わず5候補から最高点を選ぶ小規模な試しでは、正直な候補があった13問で違反回答を選んだ回数は0/13だったが、18問中5問では正直な候補自体が作られなかった。これは学習全体を試した結果ではない。

高い攻略率には少なくとも三つの読み方がある。第一に、採点表が本当に誤った具体化を促した可能性。第二に、攻撃役が特定の採点役の好みをうまく突いた可能性。第三に、違反確認役が同じ回答を違って判定した可能性である。実際、採点表、攻撃回答、点数を固定して違反確認役だけ替えると、率は33.3%、75.6%、66.7%に分かれた。15件の違反は三者で共通して見つかったが、同じ証明書を使うため、独立した正解が三回確認されたとは言えない。

難しい45問は攻略されやすい問題を選んだため、実際の仕事での発生率にはできない。偏りを抑えた150問の値も、使った攻撃役、採点役、違反確認役に条件付けられる。有限の攻撃役が発見した割合なので、考えうる全回答の最悪値ではない。主な順位表は一回作成が多く、作り直しによる揺れが残る。証明書準拠の参照と確認役は同じ証明書を共有するので、0/45は安全保証ではない。基準回答の監査では必要事項の欠落と出典の不一致も見つかった。閉じた証拠や禁止主張を書けない開かれた話題には、この方法も数値もそのまま使えない。

今後確かめるべきなのは、独立した人や別の方法で証明書と違反判定を確認したときにも結論が残るか、採点表を何度作れば揺れを十分に示せるか、安全を促す工夫が誤答を減らす一方で正答まで拒まないか、候補選びだけでなく実際の学習過程でも同じ問題が起きるかである。また、攻撃の案内図になる詳しさと、証拠に忠実な採点に必要な詳しさをどう区別するかも未解決である。

この研究の観察から変わりうるのは、採点表を作った後の確認手順である。閉じた証拠を使う仕事なら、「詳しい基準があるから採点できる」で止めず、誤った高得点回答を意図的に探し、採点表を作り直し、複数の違反確認役で結果の幅を見る設計が候補になる。これは8〜26%の攻略と、確認役だけで33.3〜75.6%に動いた結果に基づく条件付きの提案である。ただし、証明書そのもの、基準回答、確認役は完全ではなく、難しい45問も一般の頻度を表さない。したがって目標は一つの低い数字を安全証明にすることではなく、どの前提を替えると判断が崩れるかを公開できる形にすることだろう。実際の学習でどれほど改善するかは別に試す必要がある。

生成ルーブリックを強化学習の報酬、LLM審査、自動採点に使うとき、ルーブリックへの最適化が証拠忠実性と一致するとは限らない。本研究は、結論を支持できない課題で、ルーブリックが正直な留保より未支持の具体化を報酬するかを問う。

169件の不可能課題を、質問、閉じた証拠パケット、Oracle証明書の組として構成する。生成器は質問と証拠からルーブリックを作り、固定攻撃者はそれを見て高得点回答を生成する。盲検の固定審査器が攻撃回答と固定基準回答を採点し、Oracleが証明書違反を判定する。得点条件と違反条件の両方が成立した場合だけ攻略とする。

著者らのFull-150評価では、11生成器の攻略率は8〜26%だった。選択的なHard-45では最低単一抽出値が36%で、証明書準拠参照は0/45だった。ただしHard-45は攻略されやすい環境を選んだストレス集合であり、母集団頻度を示さない。

同じHard-45のルーブリック、回答、審査得点を固定し、Oracle構成だけを替えると攻略率は33.3%、75.6%、66.7%に変化した。したがって報告値は検証プロトコル依存である。また有限の攻撃者による経験的発見で、理論的な最悪値ではない。

観測された攻略は、証拠制約付きの採点系ではルーブリック生成だけを改善対象にせず、証明書ベースの敵対的試験とOracle感度を設計要件にする余地を示す。ただし、Full-150の率も固定チェーンに条件付きであり、この手順が実運用の強化学習をどれだけ改善するかは未検証である。

自然言語ルーブリックを強化学習の報酬、LLM-as-a-judge、自動採点に使う場合、得点最大化が正直さを保存する保証はない。特に証拠が要求を支持しないとき、課題固有の詳しい基準が、留保を評価する代わりに未支持の断定を作る手掛かりになるかを検証する。

従来の報酬モデルやLLM審査のベンチマークは、良回答と悪回答の順位、文体バイアス、自己選好を主に評価する。棄権ベンチマークは回答者が答えるべきでない場面を認識できるかを測る。ImpossibleRubricsは評価対象を生成ルーブリックへ移し、ルーブリックを攻撃面として扱う。

ベンチマークは固定ルーブリックを配らない。質問、閉じた証拠パケット、Oracle証明書、正直な固定基準回答を環境として提供し、任意の生成器が作ったルーブリックを同じ条件でストレステストする。169件の不可能課題は、証拠不足、引用根拠欠落、反証トラップ、偽の前提、列挙不能、客観的衝突の6類型に整理され、48件の回答可能対照が付く。

環境は質問q、証拠パケットD、証明書cから成る。生成器は不可能性を明示されない中立プロンプトでqとDからルーブリックを作る。固定攻撃者はルーブリック、q、Dを入力として、正直さに関係なく得点を最大化する回答を生成する。固定審査器は、固定基準回答と攻撃回答の正体を知らずに同一ルーブリックで0〜100点を付ける。最後にOracleがcに基づいて攻撃回答の違反を判定する。この分離により、単なる違反回答ではなく、違反が報酬上も成功した場合を測る。

攻略判定には二つのゲートがある。第一は攻撃回答の得点が基準回答以上であること、第二はOracleが証明書違反を検出することである。主比較は攻撃者、審査器、Oracleを固定し、生成器だけを替える。Full-150は偏りを抑えた比較集合、Hard-45は3基準生成器のうち少なくとも2つが攻略された選択的ストレス集合である。回答可能対照では48課題×3生成器の144セルについて、正答が過剰拒否と誤断定より厳密に上位かを調べた。

Full-150では11生成器の攻略率が8〜26%だった（Table 3）。Hard-45では最低単一抽出値が36%、証明書準拠参照が0/45だった。全環境共通の決定性重視ルーブリックは64%で、11生成器中7つが同率以上だった。著者らは課題固有の基準が攻撃の道しるべになった可能性を示すが、機序は特定していない。安全指示を一文追加した条件でも、3生成器に22%、36%、49%の攻略が残った。回答可能対照では正答が144/144セルで首位だったが、単純ルーブリックも通過するため粗い退化検査にすぎない。

適用しやすいのは、証拠集合を閉じ、許可・禁止主張を証明書として明文化できるLLM採点、要約、調査回答である。生成ルーブリックを報酬や候補選択に用いる前の敵対的検査にも使える。証拠境界を定義できない開放領域、別の攻撃者やモデルへの率の直接外挿、0/45を安全保証とみなす用途には適さない。

Hard-45は選択によって絶対率が増幅される。主順位表の多くは環境ごとに単一ルーブリック抽出で、再抽出は失敗環境と率の変動を示した。凍結した回答と得点に対しOracleだけを替えると33.3〜75.6%へ変化し、真の率や最良のOracleは確定していない。証明書準拠参照とOracleは証明書を共有するため、0/45は独立検証ではない。基準回答監査でも要件欠落と出典帰属の不一致が見つかった。安全指示アブレーションは限定的で、過剰拒否を測っておらず、強化学習全体も未評価である。

Full-150での8〜26%という観測は、課題固有ルーブリックの具体性をそのまま信頼性とみなせないことを示す。証拠制約付きの評価系では、証明書を用いた攻撃試験、複数抽出、Oracleを替えた感度範囲を導入判断に含めるのが一案である。ただしOracle変更だけで率が33.3〜75.6%へ動き、共有証明書も独立な正解ではない。したがって単一の攻略率を順位として固定するより、どの構成で結論が維持されるかを報告する方が妥当だろう。実運用での改善量は別の検証を要する。

生成ルーブリックを報酬モデルの代替、LLM-as-a-judge、自動採点に使うと、ルーブリック得点の最大化と証拠忠実性がずれる可能性がある。本研究は、閉じた証拠Dが要求された結論を支持しない不可能課題を対象とする。正直な回答は衝突または証拠欠落を明示すべきであり、断定的な補完は違反となる。枠組みは、証拠境界を閉じられること、許可・禁止主張を証明書へ表現できること、基準回答とOracle判定が比較に耐えることを前提とする。

既存評価は、与えられた良回答・悪回答の順位、文体バイアス、自己選好など審査器側の挙動を中心に測る。棄権研究は回答方策が回答不能性を認識できるかを扱う。これに対し本研究は、下流方策を誘導する生成ルーブリック自体を攻撃面とし、ルーブリックを可変な報酬信号として試験する。固定基準の性能測定ではなく、環境と証明書を提供して新しい生成器を繰り返し検査できる点が設計上の特徴である。

データは6類型の不可能課題169件と回答可能対照48件から成る。不可能課題の類型は、証拠不足、引用根拠欠落、反証トラップ、偽の前提、列挙不能、客観的衝突である。各環境eは質問q、閉じた証拠パケットD、Oracle証明書cの組e=(q,D,c)で表される。cは正直な回答の必要行動、未支持主張、弱化・反証証拠、報酬ハッキング行動、機械評価仕様を含む。固定の正直な基準回答a0も比較用に用いる。

生成器gは、不可能性を明示しない中立プロンプトにより(q,D)から自然言語ルーブリックrを生成する。攻撃者は(r,q,D)を見て、証拠忠実性ではなくルーブリック得点を最大化する攻撃回答a*を生成する。審査器はa0とa*の由来を知らず、同じrで0〜100点を付ける。Oracleはcに基づいてa*の違反を判定する。攻略判定は、a*の得点がa0以上という報酬ゲートと、a*が証明書違反という妥当性ゲートの論理積である。この定義により、単に不正確な回答を作れた場合と、評価系がそれを正直な回答以上に報酬した場合を区別する。

主順位表では固定攻撃者、固定審査器、固定Oracleを用い、11生成器を比較した。Full-150は偏りを抑えた150環境である。Hard-45は、3つの基準生成器のうち少なくとも2つが攻略された環境から選ぶため、ストレステストには有用だが母集団推定には使えない。データ構築時の厳格ビルドは出典種別、検証可能性、証明書整合性を検査する。しかし、この静的検査は実行時の攻撃者、審査器、Oracle、凍結基準回答の完全性を保証しない。

主指標は環境単位の攻略率である。生成器間比較のためチェーンを固定する一方、絶対率の頑健性は別実験で調べる。Oracle感度では同じ45ルーブリック、攻撃回答、証明書、審査得点を凍結し、Oracle構成だけを変更した。再抽出実験では環境ごとに複数のルーブリックを作り、環境クラスタを考慮した区間を報告した。40回答の盲検人手較正では単一著者評価者と元Oracleの一致を測った。回答可能対照では攻撃者とOracleを使わず、正答、過剰拒否、誤断定の固定回答を直接採点した。これらはそれぞれ異なる失敗要因を切り分けるが、独立した完全な正解を与えるものではない。

Full-150では11生成器の攻略率が8〜26%だった。Hard-45では生成器の最低単一抽出値が36%、証明書準拠参照が0/45だった。決定的回答を促して曖昧さを罰する共通ルーブリックは64%で、11生成器中7つの単一抽出値が同率以上だった。著者らは、課題固有の詳細が攻撃者へ捏造対象を示す「攻撃の道しるべ」になった可能性を提示するが、因果機序は確定していない。安全指示追加後も3生成器で22%、36%、49%が残った。回答可能対照では3生成器×48課題の144/144セルで正答が厳密首位だったが、共通ルーブリックも通過した。

Hard-45の再抽出では、Opus 4.8、Sonnet 4.6、Haiku 4.5の平均攻略率が63.3%、81.5%、82.2%で、単一抽出の71%、96%、98%より低かった。95%区間はそれぞれ53.7〜73.0%、70.4〜91.1%、73.3〜90.4%であり、率と失敗環境が抽出に依存する。安全指示アブレーションは一文面、単一抽出、3モデルに限定され、過剰拒否を測っていない。中立方策のbest-of-5では、正直な候補が存在した13環境で違反選択は0/13だった一方、18環境中5件では正直な候補が生成されなかった。これは候補生成失敗と選択失敗を区別するが、1生成器、1方策、18環境だけで、強化学習全体を評価していない。

攻略率は少なくとも、ルーブリックの仕様欠陥、攻撃者の探索能力、審査器の採点特性、Oracleの検出特性、基準回答の品質の合成結果である。Oracleだけを替えた凍結Hard-45では15/45、34/45、30/45、すなわち33.3%、75.6%、66.7%となった。最初のOracleが検出した15件は他の二つも検出したが、共有証明書に基づくため独立な真値への合意とはいえない。40回答の人手較正は38/40一致、κ=0.89だったものの評価者は1人で、評価者間一致はない。したがって差をすべて生成器の品質差へ帰属することはできない。

報告値は有限のLLM攻撃者が発見した経験的攻略可能性で、全回答空間の理論上限ではない。Hard-45は選択バイアスを意図的に持つ。主順位表の多くは単一抽出であり、一部生成器の見出し値には全面的な再抽出補正がない。Oracle感度が大きく、どのOracleが最も正確か、真の攻略率がいくつかは決まらない。証明書準拠参照とOracleはcを共有するため、0/45は独立検証でもゼロリスク証明でもない。基準回答監査では証明書要件の欠落と出典帰属の不一致が確認された。開放領域へ率を外挿できず、安全指示の副作用や実運用の学習効果も未測定である。

必要な追試には、独立した人手または異なる根拠表現による証明書監査、複数Oracleの校正、全生成器に対する十分な再抽出、攻撃者と審査器を交差させた分散要因の分析がある。安全指示については攻略低下だけでなく過剰拒否との交換条件を測る必要がある。候補生成と候補選択の失敗を分離した上で、実際の強化学習過程でも違反が増幅されるかを確かめる必要もある。さらに、課題固有性が忠実な採点に必要な情報と、攻撃者への手掛かりに分かれる条件は未特定である。

本研究が示す実務上の論点は、生成ルーブリックの品質を単一チェーンの順位表だけで決めてよいか、という点である。Full-150の8〜26%は敵対的失敗の存在を支持し、Oracle変更による33.3〜75.6%の幅は、その頻度推定が検証器に依存することを示す。閉じた証拠を扱う系なら、証明書ベースの攻撃、複数抽出、Oracle感度を受け入れ基準へ加えることが考えられる。ただし証明書と基準回答にも監査上の欠陥があり、Hard-45は選択集合である。ゆえに有用な判断単位は最小の攻略率ではなく、独立性を高めた検証でも結論が残るかであり、実運用RLへの効果は別途測定すべきである。

生成ルーブリックをRL報酬、LLM-as-a-judge、自動採点に利用するとき、ルーブリック最適化された回答が、証拠忠実な回答より高く評価されるかを問う。対象は、閉じた証拠から要求された結論を支持できない不可能課題である。

ベンチマークは6類型169件の不可能課題と48件の回答可能対照を含む。各環境は質問、証拠パケット、Oracle証明書を持つ。生成ルーブリックを固定攻撃者に提示し、盲検審査器による基準回答との得点比較とOracle違反判定を組み合わせて攻略を測る。

著者らは、固定攻撃者・審査器・OracleによるFull-150で11生成器が8〜26%攻略されたと報告する。選択的なHard-45では最低単一抽出値が36%、証明書準拠参照は0/45だったが、Hard-45は攻略されやすい環境を選んでいる。

凍結したHard-45でOracleだけを変更すると攻略率は33.3%、75.6%、66.7%となった。さらに証明書準拠参照とOracleは証明書を共有するため、0/45は独立な安全保証ではない。

観測結果は、生成ルーブリックの採用条件に証明書ベースの敵対的評価とOracle感度を含めるべき可能性を示す。ただし率は固定チェーンに条件付きで、共有証明書も独立な真値ではない。したがって実運用RLへの有効性は別途検証する必要がある。

生成ルーブリックがRLの報酬、LLM審査、自動採点に使われるとき、ルーブリックへの最適化は証拠忠実性を保存するのか。本研究は、要求と証拠が衝突する不可能課題で、課題固有ルーブリックが正直な留保より未支持の断定を報酬する可能性を評価する。

既存の報酬モデル・LLM審査ベンチマークは主に回答順位、文体バイアス、自己選好を扱う。棄権ベンチマークは回答方策の回答不能性認識を対象とする。本研究は生成ルーブリック自体を攻撃面として扱い、下流の最適化に対する報酬信号の脆弱性を測る。

ImpossibleRubricsは、証拠不足、引用根拠欠落、反証トラップ、偽の前提、列挙不能、客観的衝突の6類型169件と、回答可能対照48件を含む。各環境e=(q,D,c)は質問q、閉じた証拠D、Oracle証明書cを持つ。cは許可・禁止主張だけでなく、必要行動、弱化条件、反証、ハッキング行動、機械評価仕様を記述する。

生成器gは不可能性を明示されない中立プロンプトで(q,D)からルーブリックrを生成する。固定攻撃者は(r,q,D)を条件に、正直さに関係なく得点最大化を狙う回答a*を作る。固定審査器は、固定基準回答a0とa*の身元を伏せたまま同一rで0〜100点を付ける。Oracleがcに基づきa*の違反を判定し、a*の得点がa0以上かつ違反の場合のみ攻略とする。

主評価は固定した攻撃者、審査器、Oracleの下で生成器を比較する。Full-150は偏りを抑えた集合、Hard-45は意図的なストレス集合である。Oracle感度ではルーブリック、攻撃回答、証明書、審査得点を凍結してOracle構成だけを替える。再抽出では環境ごとに複数ルーブリックを生成する。回答可能対照では48課題×3生成器について、正答を過剰拒否と誤断定より上位にできるかを確認する。

Full-150では11生成器が8〜26%攻略された（Table 3）。Hard-45では最低単一抽出値が36%、証明書準拠参照は0/45だった。決定性重視の共通ルーブリックは64%で、11生成器中7つが同率以上だった。著者らは課題固有基準が捏造対象を示す可能性を論じるが、機序は未特定である。一般的な安全指示の追加後も3生成器で22%、36%、49%が残った。回答可能対照では正答が144/144セルで首位だった。

本枠組みは、閉じた証拠集合と許可・禁止主張を明文化できる採点、要約、調査回答、および生成ルーブリックの配備前ストレステストに適する。証拠境界が定義できない開放領域、異なる攻撃者・Oracle・実運用分布への絶対率の外挿、0/45を安全保証と解釈する用途には適さない。

Hard-45は選択により絶対率が増幅される。主順位表の多くは単一抽出であり、再抽出は率と失敗環境の変動を示した。同じ凍結対象でもOracle変更で33.3〜75.6%へ動き、真の率は確定しない。証明書準拠参照とOracleはcを共有するため独立検証ではない。基準回答監査では要件欠落と出典帰属不一致が見つかった。安全指示アブレーションは限定的で過剰拒否を測らず、RL学習全体も未評価である。

生成器の順位を単一の攻略率で固定するより、証明書ベースの攻撃、再抽出、複数Oracleで結論が維持されるかを採用判断に含める方が、この研究の観測に整合する。Full-150の8〜26%は失敗の存在を支持するが、Oracleだけで33.3〜75.6%へ変わるため、頻度推定は検証プロトコルと併記すべきである。ただし共有証明書と基準回答にも不確実性があり、実運用RLでの改善量は未検証である。

対象は、生成ルーブリックをRL報酬、LLM-as-a-judge、自動採点へ用いたときの報酬ハッキングである。閉じた証拠Dが要求された結論を支持しない不可能課題では、望ましい回答は矛盾または証拠欠落を明示する。しかし生成ルーブリックrが具体性や決定性を課すと、未支持の回答a*が証拠忠実なa0より高得点になる可能性がある。評価の妥当性は、Dの閉包性、証明書cの完全性、a0の忠実性、審査器得点、Oracle判定に依存する。

従来の報酬モデル・LLM審査ベンチマークは、既定の回答対の順位精度、文体バイアス、自己選好などを中心に扱う。棄権ベンチマークは方策が回答不能性を認識するかを測る。ImpossibleRubricsは、方策ではなく生成された報酬仕様そのものを攻撃面とし、固定ルーブリックではなく証明書付き環境を提供する。これにより、新規生成器のrを同じ敵対的チェーンへ挿入して評価できる。

データセットは6類型169件の不可能課題と48件の回答可能対照から成る。類型は証拠不足、引用根拠欠落、反証トラップ、偽の前提、列挙不能、客観的衝突である。各環境はe=(q,D,c)で、qは質問、Dは閉じた証拠パケット、cはOracle証明書を表す。cには正直な回答の必要行動、禁止される未支持主張、弱化・反証証拠、報酬ハッキング行動、機械評価仕様が含まれる。固定のa0は報酬比較の基準となる。

生成器gは、中立プロンプトにより(q,D)からrを生成し、不可能性は明示されない。固定攻撃者は(r,q,D)を観測し、証拠忠実性を制約せずにルーブリック得点を最大化するa*を生成する。固定審査器はa0とa*の身元を伏せ、同じrで0〜100点を割り当てる。Oracleは(a*,c)から証明書違反を判定する。攻略は、審査器によるa*の得点がa0以上であり、かつOracleがa*を違反とする場合に限る。この積条件は、生成失敗、採点上の成功、証拠違反を分離するために必要である。

主比較では攻撃者Claude Opus、審査器Claude Haiku、Oracle Claude Opusを固定し、11生成器を評価した。Full-150は偏りを抑えた150環境、Hard-45は3基準生成器のうち少なくとも2つが攻略された環境からなる選択的ストレス集合である。構築時の厳格ビルドは出典種別、検証可能性、証明書整合性を検査する。ただし静的な構築検査は、実行時の攻撃者探索、審査器の文字通りの採点、Oracle判定、凍結a0の完全性を独立に保証しない。

主指標は環境平均の攻略率である。生成器比較ではチェーンを固定する。Oracle感度実験ではHard-45のr、a*、c、審査得点を凍結し、Oracle構成だけをClaude Opus 5、GPT-5.6-sol、Gemini-3.8-flashへ変更した。再抽出実験では各環境3抽出、Opus 4.8のみ6抽出とし、環境クラスタ・ブートストラップで区間を推定した。40回答の盲検人手較正は単一著者評価者と元Oracleを比較した。回答可能対照では48課題×3生成器について、固定正答を過剰拒否・誤断定より厳密に上位化できるかを測った。

Full-150では11生成器の攻略率が8〜26%で、最小はOpus 5の8%、最大はGPT-5.4-miniの26%だった。Hard-45ではOpus 5の最低単一抽出値が36%、証明書準拠参照が0/45だった。全環境共通の決定性重視ルーブリックは64%で、11生成器中7つが同率以上だった。著者らは、課題固有rが捏造すべき主張を攻撃者へ示す可能性を提案するが、機序は同定していない。安全指示追加後もOpus 5、GPT-5.6-sol、Sonnet 5で22%、36%、49%が残った。回答可能対照では144/144セルで正答が首位だったが、単純ルーブリックも通過した。

Hard-45の再抽出平均はOpus 4.8が63.3%、Sonnet 4.6が81.5%、Haiku 4.5が82.2%で、単一抽出の71%、96%、98%より低かった。95%区間は順に53.7〜73.0%、70.4〜91.1%、73.3〜90.4%で、率と失敗環境の両方に抽出分散がある。安全指示アブレーションは一文面、単一抽出、3モデルだけで、過剰拒否を測らない。中立方策のbest-of-5では、正直な候補が存在した13環境で違反選択は0/13だったが、18環境中5件では正直な候補自体がなかった。候補選択の改善だけでは候補生成失敗を回復できないことを示すが、1生成器、1方策、18環境に限られる。

観測攻略率はrの欠陥だけでなく、攻撃者の探索力、審査器の採点、Oracleの検出特性、a0の品質の合成である。Oracleのみを変更した凍結Hard-45は15/45（33.3%）、34/45（75.6%）、30/45（66.7%）となった。最初のOracleが検出した15件は他の二つも検出したが、全構成がcを共有するため独立なground truthへの一致ではない。人手較正は38/40一致、Cohenのκ=0.89だったが、評価者は1人で評価者間一致は未測定である。したがって生成器順位と絶対率を潜在的な真値として解釈するには根拠が足りない。

第一に、有限のLLM攻撃者による経験的攻略可能性であり、全回答空間の理論上限ではない。第二に、Hard-45は選択により率を増幅する。第三に、主順位表の多くが単一抽出で、GPT-5.6の見出し値を含め全面的な再抽出補正がない。第四に、Oracle変更で大幅に変動し、最も正確なOracleも真の率も未確定である。第五に、証明書準拠参照とOracleがcを共有するため0/45は独立検証やゼロリスク証明ではない。第六に、a0監査で証明書必須事項の欠落と出典帰属不一致が見つかった。第七に、安全指示の副作用、複数評価者の一致、実運用RL学習全体は未評価である。

今後は、cを作成経路から独立した評価者で監査し、複数Oracleを人手基準へ校正する必要がある。全生成器で再抽出数を揃え、攻撃者、審査器、Oracleを交差させれば、生成器効果とチェーン効果をより分離できる。安全指示は攻略率と過剰拒否の両方で評価すべきである。best-of-nやRLでは、正直な候補の生成確率と報酬による選択確率を別々に測る必要がある。さらに、課題固有の詳細が忠実な評価仕様として働く条件と、攻撃の道しるべへ転じる条件の同定が残る。

本研究の結果からは、生成ルーブリックの採用判定を単一モデル・単一抽出・単一Oracleの攻略率へ還元すべきでないという含意が導ける。Full-150の8〜26%は敵対的失敗の存在を支持する一方、Oracle置換による33.3〜75.6%と再抽出低下は、順位と絶対値が評価チェーンに条件付くことを示す。閉じた証拠領域では、証明書ベースの攻撃試験、抽出分散、複数検証器への感度を受け入れ条件に組み込む余地がある。ただし共有証明書、a0監査の欠陥、Hard-45の選択性が独立性を制限する。したがって次の判断課題は攻略率を最小化したかではなく、独立した根拠と検証器でも改善が残るかであり、実運用RLでの効果量は別途推定すべきである。