Dr. Claw：CLIエージェントを束ねて監査可能な研究ループを実現するAI Scientistワークスペース

本論文が扱うのは、AIがコードを書けるかどうかではなく、その能力を研究全体でどう管理するかという問題だ。CLI型のコーディングエージェントは、長いセッションを維持し、ファイルを読み書きできる。しかしエンドツーエンドの研究には、計画、実行、結果の確認、図表や文章の作成が含まれる。実際の作業場所がチャット、IDE、ターミナル、執筆環境に分かれると、出力は残っても意思決定のつながりが切れやすい。

たとえば、分析担当者がAIに実験を進めさせ、途中で人間が方針を変更したとする。後から結果を確認するには、どの変更がどの成果物につながったのか、失敗した実行の前には何が正常だったのかを追う必要がある。個々のファイルと会話ログが別々に残るだけでは、この問いに答えにくい。この例は研究工程を理解するためのものであり、Dr. Clawが研究判断そのものを正しくできることを意味しない。

従来の方向の一つは、新しいAI Scientistエージェントを一から構築し、研究工程を自律的に回すことだった。論文が指摘する難点は、そうした仕組みがブラックボックス化しやすく、人間が途中で介入しにくいこと、そして既存のCLIエージェント群を活用しにくいことだ。

Dr. Clawは別の前提を置く。実行能力を持つエージェントはすでに存在するため、新しい頭脳を追加するのではなく、その外側に管理の仕組みを置く。目的は自律性の最大化ではない。人間の判断とAIの実行を結び付け、後から監査し、失敗時には復元できる研究ループを作ることだ。したがって、本論文の比較対象も新旧モデルの知能差ではなく、同じ実行器を管理層で包む効果である。

ここでいう監査可能性は、何が実行され、どの判断が関係し、何が作られたかを後からたどれる性質である。再現性と近いが同一ではない。履歴が詳しく残れば追試の材料にはなるが、同じ結果が必ず得られるとは限らない。また、手順を追えることと、科学的結論が正しいことも別である。

この区別は評価を読むうえで重要だ。Dr. Clawが直接扱うのは、工程の構造化、記録、復旧である。基盤のLLMが誤った推論やコードを出せば、管理層はその能力限界を消せない。記録された誤りは調べやすくなる可能性があるが、記録があるだけで誤りが訂正されるわけではない。

Dr. Clawは、相互作用層、オーケストレーション層、実行層から成る。相互作用層は人間が指示や修正を与える場所である。実行層では、既存のCLIエージェントがコード生成やファイル操作などを担う。両者の間にあるオーケストレーション層が、作業の依存関係と保存状態を管理する。

この分離により、人間はバックエンド実行器そのものを作り直さずに、計画や制約を与えられる。複数の実行器を協調させる機能と、繰り返し使う研究手続きをまとめたスキルライブラリも、この管理の一部である。重要なのは、スキルがモデルの基礎能力を増すのではなく、手続きを再利用できる形にする点だ。

第一のタスクグラフは、作業項目とその依存関係を表す。何が未完了で、どの作業が先に必要かを管理する。第二の成果物ストアは、ファイルや図表などを版とともに保持する。第三の意思決定ログは、人間の指示とAIが採用した方針の根拠を結び付ける。第四の実行トレースは、実際の入出力を保存する。

先ほどの分析業務なら、「実験をやり直す」というタスクだけでなく、その前提となった方針変更、使われた成果物、実際の実行結果が別々の役割を持ちながら関連付けられる。タスクグラフだけでは、なぜ変更したかが分からない。意思決定ログだけでは、何が実行されたかを確かめられない。成果物だけでは、どの工程から生まれたかが曖昧になる。四つを組み合わせることが、この設計の中心である。

作業はPlan、Execute、Verify、Write-backの順に進む。Planでは現在の状態を基に次の作業を計画する。ExecuteではCLIエージェントが作業する。Verifyでは出力を確認する。Write-backでは確認後の状態を記録へ反映する。この循環によって、作業中の状態と保存された履歴のずれを抑える。

失敗や不整合が起きた場合は、過去のタスクグラフと成果物ストアを参照し、健全な状態へ非破壊的に戻す。これは単に同じ命令を最初から再実行することではない。成功済みの成果物や判断履歴を残し、再開地点を選べるようにする考え方である。ただし、どの状態が健全かを判断する局面には人間の確認が関わる。

著者らは、オープンエンドな研究評価でバックエンド実行器をCodex gpt-5.4に固定した。比較は、素のCLIエージェント単体と、それをDr. Clawで包んだ条件の間で行われた。したがって、観測された差は別モデルの能力差ではない。一方で、Dr. Claw側にはタスクグラフ、状態オブジェクト、スキルライブラリを含むオーケストレーション層全体が加わる。評価は、その一括した効果を見るものだ。

指標の研究網羅性は、必要な構成要素が満たされた度合いを測る。著者らはこれに加え、エラーや想定外の挙動から状態を復元する例を示した。また、人間が参加したレトロスペクティブな3条件比較で、ツール間を行き来するコンテキストスイッチと作業継続性を調べた。これらは、網羅性、復旧可能性、人間の作業体験という異なる面の証拠である。

同じバックエンドを固定した点は重要な統制である。実行器の違いではなく、管理層を加えた条件との差を見やすくするからだ。ただし、比較されているのはオーケストレーション層の構成要素をまとめた全体である。どの状態オブジェクトやスキルが、結果にどれだけ寄与したかを個別に切り分けるアブレーション結果は、与えられた記録には示されていない。

また、研究網羅性が高いことから、科学的結論の正確さ、学術的新規性、一般的な生産性向上を導くことはできない。人間参加の結果も、異なる利用者や研究分野へそのまま一般化できるとは限らない。評価は「管理層が工程を整える可能性」を支えるが、「より良い科学を生む」という主張までは確立しない。

第一に、同じCodex gpt-5.4を使ったオープンエンド研究評価で、Dr. Clawは素のCLIエージェントより高い研究網羅性スコアを得たと著者らは報告する。具体的な差の大きさは、 supplied recordには示されていないため、ここでは優位の規模までは評価できない。

第二に、実験中のエラーや想定外の挙動に対し、過去のタスクグラフと成果物ストアから実行状態を非破壊的に復元できることを示した。第三に、人間参加のレトロスペクティブな3条件比較で、ツール間のコンテキストスイッチが減り、作業継続性が改善したと報告する。いずれも著者らによる報告であり、研究品質全般の保証ではない。

最も直接的な読み方は、同じ実行器でも、その周囲に構造化された管理層を置くと、研究工程の構成要素を欠かしにくくなり、障害後に作業をつなぎ直しやすくなるということだ。つまり、エージェントの成果はモデル単体の性能だけでなく、状態の持たせ方にも左右される可能性がある。

ただし、網羅性の向上には複数の説明がありうる。タスクグラフが抜けを防いだのか、スキルライブラリが定型手順を補ったのか、検証と書き戻しの反復が効いたのか、それとも人間の介入が主因だったのか。この評価はオーケストレーション層全体との比較なので、個別の寄与は確定できない。

状態オブジェクトの永続化と依存関係の解決を挟むため、素のCLIを直接実行する場合より、わずかな実行時間のオーバーヘッドがある。速さだけを優先し、失敗しても容易にやり直せる短い作業では、この追加管理が見合わない場合も考えられる。一方、複数の成果物や判断が連鎖し、途中状態を失うコストが大きい作業では、記録と復旧の価値が相対的に高くなりうる。これは評価結果を業務判断へ移す際の条件付きの解釈であり、論文が一般的な費用対効果を実証したという意味ではない。

Dr. Clawは既存エージェントを包むため、そのコーディング能力と推論能力の限界を引き継ぐ。外部LLMエージェントのAPIレート制限にも依存する。管理層が正常でも、バックエンドが課題を解けない、誤った出力を作る、利用できないといった問題は残る。

さらに、詳細なトレースが残ることと、その記録を人間が適切に監査できることは別問題である。論文の中心的な価値は追跡材料を構造化して残す点にあるが、その材料から科学的妥当性を判断する役割まで自動化したわけではない。

次の焦点は、異なる研究分野や利用者でも同じ傾向が出るかである。研究網羅性だけでなく、結論の正確さ、作業時間、再現性がどう変わるかを条件をそろえて見る必要がある。また、人間がどの地点で介入すると有効なのか、四つの状態オブジェクトやスキルライブラリがそれぞれ何に寄与するのかも未解決である。

GitHubのスターやHugging Faceのupvoteは関心の強さを示す現在のシグナルにはなる。しかし、仕組みの有効性を示す技術的証拠ではない。採用判断では、注目度と評価結果を分け、対象業務で必要な監査性、復旧性、速度のバランスを見るべきだ。