ImpossibleRubrics：生成ルーブリックを報酬信号として敵対的に検証する

LLMによる採点では、良い回答の条件をルーブリックとして文章化し、その基準に沿って点を付けることがある。ルーブリックは強化学習の報酬、LLM-as-a-judge、自動採点にも使われる。しかし、得点を最大化した回答が、意図した正直さまで最大化するとは限らない。とりわけ、証拠から結論を出せないのに断定を求められる場面では、詳しい採点項目が危険な方向へ働きうる。たとえば社内調査で、提供資料には原因を特定する情報がないのに「原因を一つに絞って説明せよ」と求められたとする。正直な回答は特定不能だと述べる。一方、ルーブリックが原因、根拠、影響を具体的に説明するほど高く評価するなら、資料にない原因をもっともらしく補った回答が点を取りやすくなるかもしれない。本研究が調べるのは回答者の誠実さだけではなく、この採点基準側の弱点である。

既存の報酬モデルやLLM審査の評価は、用意された良回答と悪回答を正しく並べられるか、文体に引きずられないか、自分に似た回答を好まないか、といった挙動を主に測る。棄権の評価は、答えるべきでない場面で回答者が踏みとどまれるかを見る。ImpossibleRubricsは焦点をずらし、生成されたルーブリック自体を攻撃面として扱う。固定済みの採点表を配るのではなく、質問、証拠、違反判定用の証明書を環境として用意し、新しく作られたルーブリックを同じ流れで試せるようにする。これにより、普通の回答を採点できるかだけでなく、採点表を読んで最適化された回答に耐えられるかを問える。

ベンチマークには169件の不可能課題があり、証拠不足、引用根拠の欠落、反証トラップ、偽の前提、列挙不能、客観的衝突の6類型に整理される。各課題では利用可能な証拠が閉じている。つまり、外部知識で穴を埋めるのではなく、渡された証拠だけで何を言えるかが問題になる。さらに、普通に回答できる48件の対照課題も置かれる。先ほどの社内調査の例なら、資料にない原因を断定することが禁止事項となり、原因を絞れない理由を示すことが正直な振る舞いになる。ただし実験の課題はこの例そのものではなく、文章化された証拠と回答を扱う。証拠の境界や禁止主張を明記できない開放的な話題には、この設計をそのまま当てはめにくい。

一つの評価環境は、質問q、閉じた証拠パケットD、Oracle証明書cの組である。証明書には、正直な回答に必要な振る舞い、禁止される未支持の主張、表現を弱めるべき条件、反証となる証拠、報酬だけを狙う行動、機械評価の仕様が記される。比較対象として、証拠に忠実な固定基準回答も用意される。ここでOracleとは、すべてを確実に知る存在ではなく、この証明書に照らして回答の違反を判定する役である。したがって、証明書の不足やOracleの読み違いは評価結果に入り込む。データ構築時には出典種別、検証可能性、証明書の整合性が検査されたが、それだけで実行時の判定や基準回答の完全性まで保証されるわけではない。

評価は四段階で進む。まずルーブリック生成器が質問と証拠を読み、課題が不可能だとは知らされない中立的な条件で自然言語のルーブリックを作る。次に固定攻撃者が質問、証拠、ルーブリックを見て、正直さにかかわらず高得点を狙う攻撃回答を作る。固定審査器は、正直な基準回答と攻撃回答のどちらが基準なのかを知らされず、同じルーブリックで双方を0〜100点にする。最後にOracleが、攻撃回答の証明書違反を判定する。社内調査の例なら、もっともらしい原因説明が採点項目を満たしても、資料にない断定なら違反となる。もっとも、現実には人が元資料を直接確認できる場合もあるのに対し、この実験ではLLMによる違反判定を含む点で比較には限界がある。

攻略と数えるには二つの条件が同時に必要になる。第一に、攻撃回答の点が固定基準回答以上であること。第二に、Oracleがその攻撃回答を証明書違反と判定することである。したがって攻略率は、単なる誤答率ではない。証拠に反した回答が、評価上も正直な回答に勝つかを表す。主比較では、攻撃者をClaude Opus、審査器をClaude Haiku、OracleをClaude Opusに固定し、11種類のルーブリック生成器だけを替えた。この固定は生成器を同条件で比べるために必要だが、得られる絶対値はその評価チェーンに依存する。有限の攻撃者が発見できた攻略を数えるため、全回答空間における理論上の最悪値でもない。

主な集合は二つある。Full-150は偏りを抑えた150環境で、11生成器の比較に使われる。Hard-45は、3種類の基準生成器のうち少なくとも2種類が攻略された環境を集めたストレス集合である。後者は弱点の分析には向くが、一般の課題で攻略が起きる割合を示さない。加えて、回答可能な48対照課題では、3生成器のルーブリックが正答を、過剰に回答を拒む回答と誤って断定する回答より上に置けるかを調べた。48課題と3生成器の144セルすべてで正答が厳密な首位だった。ただし、単純な共通ルーブリックもこの試験を通る。よってこれは評価系が大きく壊れていないかを見る粗い確認であり、敵対的な安全性の証明ではない。

著者らの報告では、Full-150における11生成器の攻略率は8〜26%だった。最小はOpus 5の8%、最大はGPT-5.4-miniの26%である。これは、偏りを抑えた集合でも、証拠違反の回答が正直な基準回答以上に評価される環境が観測されたことを示す。Hard-45では、生成ルーブリックの最低の単一抽出値が36%で、証明書から構成した参照ルーブリックは0/45だった。また、全環境で同じ「決定的に答え、曖昧さを罰する」基準を使う単純なルーブリックは64%攻略され、11生成器中7つの単一抽出値が同率以上だった。課題ごとの詳しい基準が攻撃者に未支持の内容を作る手掛かりを与えた可能性はあるが、この比較だけで原因が確定したわけではない。

ルーブリック生成時に証拠への忠実性を促す一般的な一文を加える実験では、Hard-45の攻略率はOpus 5で22%、GPT-5.6-solで36%、Sonnet 5で49%だった。対応する中立条件の36%、42%、67%より低いが、攻略は残った。この結果からは、一般的な注意書きだけで問題が消えるとは言えない。ただし、この試験は一種類の文面、3モデル、環境ごとに一回のルーブリック生成に限られる。さらに、安全を促した結果、本来答えられる問いまで拒む「過剰拒否」が増えたかは測っていない。攻略率の低下だけを見て改善と断定できない理由である。

同じ環境からルーブリックを作り直すと、結果は変わった。Hard-45で複数回生成した平均攻略率は、Opus 4.8が63.3%、Sonnet 4.6が81.5%、Haiku 4.5が82.2%で、各モデルの単一抽出値71%、96%、98%より低かった。どの環境で失敗するかも抽出に左右された。さらに、45件のルーブリック、攻撃回答、証明書、審査得点をすべて固定し、Oracle構成だけを替えると、攻略率は15/45の33.3%、34/45の75.6%、30/45の66.7%となった。最初のOracleが見つけた15件は他の二つも検出したが、全員が同じ証明書を使うため、独立した正解への一致とはみなせない。40回答を単一の著者評価者が盲検確認した較正では元のOracleと38/40で一致し、Cohenのκは0.89だったが、複数の人間評価者どうしの一致は測られていない。

証明書準拠の参照ルーブリックがHard-45で0/45だったことは、この評価チェーン内では強い対照である。しかし、参照ルーブリックと違反を判定するOracleは同じ証明書に依存する。両者が共通の欠落や偏りを持てば、0件でも見逃しはありうる。実際、固定基準回答の監査では、証明書が要求する事項の欠落や、出典帰属の不一致が見つかった。したがって0/45は独立検証済みの安全保証でも、ゼロリスクの証明でもない。Hard-45自体も攻略されやすい課題を選んだ集合なので、その高い値を通常業務の発生率として読むことも、逆に参照結果だけを一般的な安全性へ広げることもできない。

この枠組みが合うのは、利用できる証拠を閉じ、許可する主張と禁止する主張を明文化できる採点、要約、調査回答である。生成ルーブリックを報酬や候補選択に使う前のストレステストにも適する。一方、証拠境界を定義できない開放領域や、別の攻撃者、審査器、Oracle、実運用分布への攻略率の直接外挿には向かない。小規模なbest-of-5実験では、正直な候補が存在した13環境で最大得点の選択が違反回答を選んだ回数は0/13だったが、18環境中5件では正直な候補自体がなかった。候補を選ぶ評価と候補を生む能力は別問題だと読めるものの、この試験は1生成器、1方策、18環境だけで、強化学習全体を評価していない。今後注目すべきなのは、独立した証明書監査、複数Oracleの校正、生成器全体で条件をそろえた再抽出、過剰拒否との交換条件、そして実際の学習過程でも同じ傾向が残るかである。