agent-eval

Topics in the source

• エージェント評価スキル
• 起動タイミング
• インストール
• コアコンセプト
• YAML タスク定義
• Git ワークツリー分離
• 収集メトリクス
• ワークフロー

再現可能なタスクでコーディングエージェントをヘッドツーヘッドで比較するための軽量 CLI ツールです。「どのコーディングエージェントが最適か？」という比較はすべて感覚に頼りがちです — このツールはそれを体系化します。 自分のコードベースでコーディングエージェント（Claude Code、Aider、Codex など）を比較する 新しいツールやモデルを採用する前にエージェントパフォーマンスを測定する エージェントがモデルやツールを更新した際にリグレッションチェックを実行する チームにデータに基づいたエージェント選択の判断を提供する 注意: agent-eval はソースを確認した後、リポジトリからインストールしてください。 タスクを宣言的に定義します。各タスクは何をするか、どのファイルを操作するか、成功をどう判定するかを指定します： 各エージェント実行は独自の git ワークツリーを取得します — Docker 不要。これにより再現性の分離が提供され、エージェントが互いに干渉したりベースリポジトリを破壊したりしません。 | メトリクス | 測定内容 | |--------|-----------------| | 合格率 | エージェントはジャッジをパスするコードを生成できたか？ | | コスト | タスクあたりの API 費用（利用可能な場合） | | 時間 | 完了までのウォールクロック秒数 | | 一貫性 | 繰り返し実行での合格率（例：3/3 = 100%） | タスクごとに 1 つの YAML ファイルを持つ tasks/ ディレクトリを作成します： タスクに対してエージェントを実行します： 各実行： 1. 指定されたコミットから新しい git ワークツリーを作成 2. エージェントにプロンプトを渡す 3. ジャッジ基準を実行 4. 合格・不合格、コスト、時間を記録 比較レポートを生成します： 3〜5 タスクから始める — おもちゃの例ではなく、実際のワークロードを代表するタスク エージェントごとに少なくとも 3 試行実行する — エージェントは非決定論的なので分散を把握する タスク YAML でコミットを固定する — 日や週をまたいで結果が再現可能になる タスクごとに少なくとも 1 つの決定論的ジャッジを含める（テスト、ビルド）— LLM ジャッジはノイズを加える 合格率と一緒にコストを追跡する — 10 倍のコストで 95% のエージェントが正しい選択でない場合もある タスク定義をバージョン管理する — それらはテストフィクスチャであり、コードとして扱う リポジトリ: github.com/joaquinhuigomez/agent-eval