Anthropic公式AIエージェント評価入門｜回答ではなく仕事の結果を測る

Anthropicが2026年1月9日に公開した『Demystifying evals for AI agents』は、道具を使い、何度も判断し、環境を変えるAIエージェントの評価方法を整理した実務記事です。

単発の回答なら入力と出力を比較できます。しかしエージェントは複数ターンでツールを使い、途中結果から行動を変えるため、評価対象を最後の文章から仕事全体へ広げる必要があります。

taskは一つの課題、trialは一回の試行、graderは採点ロジック、transcriptは返答やtool callを含む全記録、outcomeは最後に環境へ残った状態です。evaluation harnessは実行、記録、採点、集計を担います。

旅行AIが『予約しました』と言っても成功とは限りません。予約データベースに正しい便と条件が存在するかというoutcomeを外側から確認します。

同じ課題を一度通しただけでは安定性は分かりません。複数trialで成功率と失敗の型を見て、偶然の成功を実力と取り違えないようにします。

最終結果、必須条件、禁止操作、費用やtool call、人への引継ぎを別々のgraderで測ります。総合点だけでは、速いが危険なAIと遅いが安全なAIの違いが消えます。

失敗原因は途中のtranscriptに残ります。どの情報を読み、どのtoolを選び、どこで条件を誤解し、何を書き換えたかを調べることが改善と監査につながります。

評価環境には模擬チケット、テスト伝票、匿名化データなど、エージェントが実際に状態を変えられる環境が必要です。文章の美しさではなく、正しい変化が残ったかを測ります。

賢いエージェントは静的な評価表の想定外の正解を見つける場合があります。採点表だけに頼らず、人のレビューと利用者にとっての結果を組み合わせます。

最初から巨大な基盤は不要です。実際に失敗したくない20〜50課題を集め、典型例、境界例、危険例を混ぜ、障害やユーザー指摘を新しいtaskとして追加します。

営業、経理、人事、法務では良いoutcomeと禁止行動が異なります。AI評価とはモデルの偏差値ではなく、会社にとって良い仕事の終わり方を定義する作業です。

最終回答、環境に残った結果、途中のツール操作、安全性、効率、人への引継ぎ、複数試行での安定性を分けて評価します。

transcriptは返答やツール操作を含む試行の全記録、outcomeはデータベースやファイルなど環境へ最終的に残った状態です。

Anthropicは実際の失敗や手動確認から20〜50の簡単な課題で始める方法を示しています。