PremiseCheck：査読コメントを前提に分解して事実確認する

人間が書いてもAIが書いても、査読コメントには事実誤認が入り得る。論文にある実験を見落とす、記述を読み違える、論文にないことを述べる、内容を不正確に要約するといった誤りだ。PremiseCheckが扱うのは、こうした論文の内容に関する食い違いである。

ここでは「実験がない」という趣旨の指摘を考える。確認したいのは、指摘された実験が論文に記載されているかだ。「その実験を追加すべきか」「研究として十分に重要か」という判断とは分ける必要がある。実験の有無を正しく確認できても、要求の妥当性まで分かるわけではない。この境界が、本研究の結果を読む出発点になる。

コメントは短くても、複数の主張を含む。質問の形を取りながら、何かが欠けていると暗に決めつけている場合もある。確認する側は、その意味を解釈し、長い論文のどこに根拠や反証があるかを探さなければならない。

高性能なLLMでコメント全体を判定する方法では、コメントごとに論文を入力する費用がかかる。一方、安価な判断モデルにコメントをそのまま渡すと、複数の暗黙の主張を扱う精度が低い。先に文章を分解しても、各前提の検証をすべてLLMに任せれば、論文を読む高価な呼び出しが増える。分解すること自体が、費用削減を保証するわけではない。

PremiseCheckの中心は、この二つの仕事の分担だ。LLMは論文を見ず、コメントだけを読んで、明示的な「前提」に書き換える。前提とは、コメントの結論や質問が成り立つために、述べられたり暗黙に想定されたりしている事実を指す。その後、判断モデルが論文を読み、前提を一つずつ検証する。

先ほどの例なら、まず実験の不在を指摘していることを、対象が分かる文にする。論文に本当に記載がないかを調べるのは次の段階だ。分解器に論文を渡さないため、分解の時点ではコメントの正誤を決めない。査読者の主張を取り出す役割と、その主張を論文で確かめる役割を分けている。

標準の分解では、コメントから1〜6個の前提を作る。それぞれを、対象の手法・表・節などが明示された、単独で意味の通る平叙文にする。質問に隠れた前提も取り出す一方、査読者が述べても含意してもいない事実は追加しないよう指示する。ここで余分な主張を足すと、元の査読とは別の文章を検証することになる。

次に、各前提が論文だけで判断できるものか、一般知識に関するものかを振り分ける。前提だけを入力して論文依存性を評価し、その確率が0.5以上なら論文に基づく経路へ送る。検証時には、前者には「論文によれば真である」、後者には「真である」という異なる問い方を使う。すべての主張を論文の記載だけで確かめようとする混同を避ける設計だ。

検証器は、各前提が真である確率を返す。コメント全体のスコアには、その中の最小値を使う。値は0〜1で、低いほど事実誤認が疑われる。複数の前提が支持されていても、一つが支持されなければ、そのコメントを確認候補として拾う仕組みだ。NLPでは、前提が一つも生成されない例が1%未満あり、その場合は判断モデルによる全体判定へ戻す。

主な組み合わせは、分解器にGPT-5.5、判断モデルにJevを使う。ただし分野ごとの設定は完全には共通でない。機械学習では前提数と一般知識の数を制限し、自然科学では論文・知識・意見に分類して論文に関する前提を優先する。自然科学では反証される確率を反転して使う。したがって、三分野の結果は、一つの設定をそのまま移した検証ではない。

評価用のReviewFactは、既存のReviewCritique、ReviewScore、Phys. Rev. Bの注釈を、共通の事実誤認の定義へ対応付けたものだ。新しい論文やコメントは追加していない。全体は217論文・9,267コメント。自然言語処理、略してNLPは6,466件で誤り308件、機械学習は216件で誤り46件、自然科学は2,585件で誤り65件を含む。

基準は、推論量をmediumにしたGPT-5.5によるコメント全体の判定だ。安価なモデルでの全体判定や、Jevが疑わしいとした70%をGPT-5.5へ送る段階的な方式とも比べる。費用は使用トークンと公開価格から算出し、繰り返し入力する論文にはキャッシュ価格を適用した。遅延はAPI呼び出しの平均実時間で、同じコメントの前提は並列に検証する。自然科学の遅延は無作為に選んだ300コメントで測っている。

主指標のAUROCは、誤りのあるコメントを、誤りのないコメントより疑わしく順位付けできるかを測る。著者は100倍した値を報告する。たとえば63.1という値を、コメントの63.1%に正解したと読むことはできない。また、この指標だけでは、人が何件確認すれば誤りを見つけられるかも決まらない。

基準に対する「非劣性」は、単に点数が近いこととは違う。本研究では、論文単位で対応を保って再抽出するブートストラップを2,000回行い、AUROC差の95%区間を求める。その下限が、事前に定めた−3ポイントを上回れば非劣性とする。差が有意でないだけでは、この条件を満たさない。特に誤り件数の少ない分野では、不確実性の幅を併せて読む必要がある。

著者の報告では、NLPの単独コメント条件で、推論なしのnone設定で分解したPremiseCheckはAUROC 63.1だった。基準のGPT-5.5 medium全体判定は63.2。対応付きの差は−0.2ポイント、95%区間は−2.8〜+2.6で、非劣性を満たした。差は丸め前の値から計算されている。

1コメント当たりの費用は0.0053ドル、平均遅延は2.82秒。基準の0.0217ドル、6.27秒に対し、それぞれ24.6%、45.0%だった。別の制御測定でも、NLPの113コメントで、基準7.50秒に対してnone分解器は3.18秒となった。

medium分解器では、NLP・機械学習・自然科学のAUROCは63.0、68.7、67.5、費用は基準の51.2%、46.6%、47.4%だった。ただし非劣性を確認したのはNLPだけだ。機械学習と自然科学は区間が広い。none分解器では基準からそれぞれ3.2、1.7ポイント低下しており、NLPの安価な設定が他分野でも同様に通用するとは言えない。

NLPでJevに全体判定させると、AUROCは49.9だった。疑わしい70%をGPT-5.5へ送る方式も59.1で、費用は基準の74.0%。medium分解器とJevの組み合わせは63.0、51.2%だった。ただし、分解後の検証をGPT-5.5に任せると62.7で、費用は312.7%に増えた。MiniCheck-7Bでは、全体判定59.5から分解後54.0へ低下した。分解すればどの検証器でも良くなるわけではない。

構成要素を外すアブレーションも行った。旧NLPプロンプトで作った共通前提を使う機械学習レビューでは、振り分けと最小値集約を使うと61.8、全前提を論文と照合すると58.8、平均で集約すると59.4だった。主結果とは前提集合が異なるため、補助的な証拠として読むべきだ。

問い方にも差がある。NLPのnone分解器では、単一質問63.1に対し、支持を問う8表現は63.0、反証を問う8表現は67.6、両方の16表現は65.7だった。反証側は確率を反転して平均する。著者は選択用の開発データがないため、最も高かった8表現だけを選ばず、16表現を採用した。

NLPの査読をまとめて入力すると、一括GPT-5.5 noneのAUROCは67.8、費用は単独コメント基準の7.7%だった。一括PremiseCheckのnone・16表現設定は69.0、20.2%。この条件では全体判定の方が安い。両者のAUROC差は+1.2ポイントだが、95%区間は−1.2〜+4.0で、有意な差ではなかった。

両方式が付けた順位を平均する融合では、AUROCは71.5、費用は同じ基準の28.0%となった。一括全体判定との差は+3.7ポイント、95%区間は+2.4〜+5.1だった。さらに、論文ごとに疑わしい上位3コメントを選ぶ模擬評価では、誤りを含む論文のうち誤りを発見できた割合は、一括PremiseCheckで40%、一括全体判定で29%だった。これは候補選別の有用性を示す結果であり、実運用で査読品質が改善した証拠ではない。

最小値で集約する設計には弱点もある。分解時に余分な前提を加えたり、副次的な前提を誤判定したりすると、コメント全体が疑わしいとされる。選択された失敗例の分析では、NLPの誤警報50件の58%が分解に起因した。ただし、これは全体の誤り率を示す標本ではなく、原因の分類にも注釈者間の不一致がある。論文外の証拠が必要な例や、節の位置を取り違える例も失敗する。

データの選び方とラベルにも制約がある。機械学習では前提評価のある議論などに対象を絞り、自然科学の事実と判断の区分にはGPT-5.5を使った。加えてJevの論文入力は24kトークンに切り詰める一方、自然科学の全体判定LLMは全文を読むため、入力条件が一致しない。

判断誤りまで含めるとPremiseCheckは全体判定に劣った。使いどころは、疑わしいコメントと、その中で最も疑わしい前提を人へ示す支援だ。査読者の正誤を自動確定する用途へ広げる根拠はない。