執筆・監修：小坂井 聖也
AIに書かせた返信文や要約を、結局ぜんぶ読み直している経験はないでしょうか。良い日もあればひどい日もあり、任せきれないまま確認の時間だけが残っている会社も多いはずです。
本記事では、Claude AcademyのEvals入門が何を教える講座なのかと、その考え方を会社のAIの仕事に当てはめる手順を解説します。スマートエイトは法人向けの生成AI研修と開発で、受講企業の実務を題材に、AIの出力を検証して直す工程を扱ってきました。
結論として、AIに任せた仕事の出来は「今日は良い」という感覚ではなく、自分のケースで測った数字で決めます。その手順を、無料で1時間の講座が教えています。
本記事は2026年11月8日時点の公式の情報をもとにしています。Claude Academyは無料で講座のページをサインインせずに読め、画面は日本語に切り替えられますが、動画の音声は英語です。Evals入門の演習はPythonとClaudeの開発者向けの仕組みを使う前提のため、エンジニアでない方は演習を飛ばして考え方を持ち帰る読み方になります。
Evals入門は、AIの答えが仕事に使えるかを、自分の手元のケースで確かめて数字にする方法を教える講座です。4つのレッスンは、AIを仕事に組み込む前の3つと、組み込んだ後の1つに分かれています。
Claude Academyは、Claudeを作るAnthropicの公式の学習サイトです。2026年8月20日に公開され、AIの基本の使い方から開発者向けの技術まで学べます。
講座の一覧には29本の講座が並んでいます。どれも無料で、講座のページはサインインせずに読め、進み具合の保存にはサインインが要ります。
画面の文字は日本語で読めますが、動画の音声は日本語になっていません。英語の音声の動画と、日本語の本文を並べて読む形になります。
Evals入門は、4つのレッスンと修了のクイズで約1時間の講座です。講座は*evalを「自分のケースに対するテストで、判断に使える数字を返す物」と定めています。
公開前の3つのレッスンでは、どのモデルを使うかの決め方、最小のevalの作り方、モデルを上げる前にプロンプトを直す手順を学びます。使い始めた後の1つでは、動かしながら出来の落ち込みを見張り続ける方法を扱います。
題材は、架空の会社が月次のプロジェクト報告書から、案件番号・進み具合・いちばんのリスクの3項目を取り出すプロンプト1本です。報告書から決まった項目を抜く作業は、事務や営業の仕事にもよくある形です。
講座の対象は「動くプロンプトはあるが、採点付きのevalが無い人」です。自分のプログラムからClaudeを呼び出し、そのコードを読める人を前提にしています。
それでも、業務でAIを使う人が持ち帰れる考え方が3つあります。
3つとも、返信文や要約をAIに書かせる仕事に当てはまります。講座がコードで行う部分を手作業と表計算に置き換える手順は、4章で扱います。
*eval：AIの答えを、あらかじめ用意したケースと期待する答えに照らして採点し、点数として返すテスト。evaluationの略。
数字で採点するとは、合格の基準を先に書き、実例と期待する答えの組を集め、AIの答えを照らして合格の割合を出すことです。線に届かなければプロンプトを直し、もう一度採点に戻ります。
問い合わせメールへの返信文のたたきを、AIに書かせる場面で考えます。ある日は丁寧で正確でも、別の日は相手の名前を取り違えたり、案内すべき日程が抜けたりします。
感覚で「良い・悪い」を決めると、判定は読む人ごとにも、同じ人の日ごとにも揺れます。揺れを嫌って全件を読み直せば、AIに任せて浮くはずだった時間が確認で消えてしまいます。
たまに起きる間違いのために全件を見る手間は、人材の会社のマーケティング担当の方との商談でも話に出ました。
「たまにやっぱりこう間違えてた…文章おかしかったり…ただそれを全件見てるとまたそれはそれで手間がかかりそうだな」
— 人材の会社のマーケティング担当（スマートエイトの商談より、2026年7月）
土台は2つあります。1つは成功の基準で、具体的・測れる・達成できる・仕事に関係がある、の4つを満たす物が良い基準とされています。
もう1つは*テストケースです。講座の例では50件を用意し、ふつうの報告書30件・複数の案件が混ざった報告書10件・リスクの欄が無い報告書10件に分けています。変わった形の報告書も実際によく届くため、本番に届く割合に近づけて入れています。
期待する答えは、AIを動かす前に人が書きます。件数は単純な物を20〜50件そろえれば十分な出発点で、少数を丁寧に人が見るより、多数を自動で採点するほうを優先します。
講座は合格の線を、間違い1件の代償から決めます。例では間違い1件の確認に約5分かかり、担当者が月に引き受けられる確認は5件までなので、月50件の報告書に対して正答率の下限を90%に置いています。
線に届かなかったら、まず失敗したケースを読み、共通点を探してプロンプトを直します。講座の例では、いちばん安いモデルが50件中8件の失敗で84%だったところから、プロンプトを直しただけで100%に届きました。
モデルを上げるのは、プロンプトを直しても届かない時だけです。同じケースでも回ごとに答えが変わるため、点数は同じ設定で2回以上回してから信じます。
スマートエイトの経験では、合格の基準を1〜3行で書けない仕事は、プロンプトを何度直しても品質が上がりません。先に基準を文章にし、その文をそのまま指示に入れる順番が近道になります。
*テストケース：AIに渡す実際の入力と、返ってきてほしい答えを組にした物。採点はこの組に照らして行う。
採点を誰がやるかには、コードで照合する、AIに採点させる、人が読む、の3つの型があります。1つに決めるのではなく、採点項目ごとに速くて安い型から当てていきます。
3つの型の違いを、問い合わせメールへの返信文の例と並べると次の表になります。
型 | 速さ・費用 | 向く物 | 弱点 | 返信文の例 |
|---|---|---|---|---|
コードで照合する | 最も速く安い。何度でも同じ結果 | 形式・数値・禁止語・必須の一文の有無 | 言い回しの微妙さは測れない | 日程と問い合わせ番号が入っているか |
AIに採点させる | 速く、件数を増やせる | 文の感じ・自由記述の正しさ | 採点そのものを確かめる手間が要る | 敬語が崩れていないか、相手の問いに答えているか |
人が読む | 遅く、費用が最も高い | 質の最終判断・AIの採点の確認 | 件数が増えると回らない | 月1回の抜き打ち |
答えが1つに決まる項目は、コードで照合します。講座の例では案件番号と進み具合を完全一致で判定し、コードで確かめられる項目はすべてコードに任せ、残りだけをAIの審査員に渡す形を取っています。
コードによる採点は最も速く確実で、件数をいくらでも増やせます。その代わり、言い回しの微妙な違いは測れません。返信文なら、件名の番号、日程、必須の一文、使ってはいけない語の有無がこの型に向きます。
AIに採点させる型では、採点の基準を書いた*ルーブリックを別のAIに渡し、答えを読ませて判定させます。講座の例では、判定を「正しい・誤り・分からない」の3つから選ばせ、理由も一緒に返させています。
3つの判定のうち、講座が最も大事だとするのは「分からない」です。この逃げ道が無いと、AIは自信が無い時も「正しい」か「誤り」のどちらかを当て推量で選ぶしかなくなります。
AIの採点は速く柔らかい判定ができますが、判定が合っているかを人が確かめる手間が要ります。まず人が一部を手で採点し、AIの判定と一致するのを確かめてから件数を広げます。
スマートエイトの経験では、答えを作った同じチャットで見直させると、直前のやり取りに引きずられて判定が甘くなります。採点は新しいチャットを開き、校閲役として別に立てたAIに任せています。
人が読む採点は、質の判断では最も信頼できる一方で、遅くて費用も最もかかります。Anthropicの公式の解説でも、避けられるなら避ける方法に置かれています。
講座では人の採点を最後に置き、AIの審査員の判定が合っているかを抜き打ちで確かめる役に使います。全件を人が読むのではなく、AIの採点を人が確かめる形にすれば、確認の時間が件数に比例して増えません。
AIが作った資料が正しいかどうかを、最後に人が判断できるか。製造の会社の担当者との商談では、ここがAIを使う前提そのものとして挙がりました。
「AIに命令をして作った資料が正しいのかどうかっていう判断が最終的につかないと結局あまり意味をなさないな」
— 製造の会社の担当者（スマートエイトの商談より、2026年8月）
人がどこで確かめるかは、AIが書いたコードの点検でも同じ問いになります。その場合の分け方は、AIが書いたコードを誰が検査するかで解説しています。
*ルーブリック：採点の観点と、それぞれ何を満たせば合格かを書き出した表。人とAIが同じ物差しで判定するために使う。
講座は開発者向けですが、基準・実例・採点・見張りの流れは、返信文や会議の要約の点検にも持ち込めます。講座がコードで行う部分は、この章で手作業と表計算に置き換えます。講座の最後のレッスンでは、使い始めた後の答えの1〜5%を毎晩採点して、出来の落ち込みを捕まえる方法まで扱っています。
採点項目は、関連性・一貫性・トーン・個人情報の保護といった観点を、自分の仕事の言葉に直して書きます。返信文なら「日程・問い合わせ番号・担当者名のような必須の項目が入っているか」「敬語が崩れていないか」「相手の名前と件名を取り違えていないか」「個人情報を書いていないか」です。
会議の要約なら、「決定事項と期限が落ちていないか」が中心になります。項目を仕事の言葉で書くと、どれをコードで照合でき、どれをAIに読ませるかが見分けやすくなります。
人材の会社の受講者が研修のアンケートに書いた求人票の点検なら、最低賃金を割っていないかは金額の比較なのでコードで、記載できない書き方をしていないかは文を読む判断なのでAIに任せる、と分けられます。
「作成した求人票のチェック。正しい項目に記載されてるか？同じ内容が重複してないか？最賃割ってないか？記載できない書き方をしてないか？」
— 人材の会社の受講者（スマートエイトの研修アンケートより、2026年7月）
最初の1週間でそろえるのは、実例20件と、1件ごとの期待する答えです。返信文なら過去の問い合わせメールを20件集め、1通ずつ、入っていなければならない項目を1〜3行で書きます。全文の見本の返信文は1通だけ人が書き、AIに採点させる時の手本にします。
合格の線も、講座と同じ決め方で先に置きます。間違い1件の手直しに何分かかるか、月に何件までなら手直しを引き受けられるかを数え、返信文が月100通で手直しを10通まで引き受けられるなら、20件中18件が線です。この決め方は、生成AIの費用対効果を測る4つの問いで見る「成功1件あたりの費用に、人が直した時間を含める」物差しと同じです。
採点は2つに分けます。日程や番号、使ってはいけない語の有無のように決まった物は、表計算の関数か、ChatGPTやClaudeに作らせた簡単な検査で照合します。相手の問いに答えているかのように読解が要る物だけ、新しいチャットのAIに合否を出させます。
スマートエイトの経験では、帳票の読み取りのような仕組みをAIに作らせる場面でも、人が全文で作る正解は1件分で足り、点数が線に届くまで直させる運用で回ります。返信文でも、見本を増やすより、失敗した答えを読んで指示を直すほうが先です。
使い始めた後は、講座の公開後のレッスンを業務に読み替えます。月1回、AIが書いた返信文の一部を人が抜き打ちで読み、AIの採点が合っているかを確かめます。
誤りと判定された答えは、新しいテストケースとして実例に足していきます。点数が下がったら、その業務をAIに任せるのをいったん止め、プロンプトか基準を見直しましょう。
スマートエイトの経験では、自動化して効いたのは文を作る所より、出来を測る所でした。作る工程を手作業に戻すことがあっても、合格の割合の記録と月1回の抜き打ちだけは残します。人がどこで確認に入るかの置き方は、自動化で人が確認する場所にまとめています。
画面の表示は日本語に切り替えられ、講座の本文は日本語で読めます。動画の音声は英語のため、映像は本文と合わせて見る形です。講座のページはサインインせずに開けます。
受講は無料です。自分でevalを作って動かす演習まで進むなら、開発者向けの管理画面であるClaude Consoleのアカウントと、プログラムからClaudeを呼び出すための鍵が要ります。
演習はPythonで書いたプログラムを読むことが前提で、手を動かす部分はエンジニア向けです。読むだけでも1時間ほどで、自分のケースで測る考え方は持ち帰れます。会社の仕事への当てはめは、4章の手順から始めてください。
Claude AcademyのEvals入門は、AIの答えを自分のケースで測り、数字で決める考え方を無料の1時間で教える講座です。採点は、コードで照合する、AIに採点させる、人が読む、の3つの型を項目ごとに使い分けます。
AIの答えの確認に時間がかかる、人ごとに品質がそろわない、という悩みは、基準と実例をそろえて採点すれば数字で見えるようになります。まずは返信文か要約のどちらか1つで、合格の基準を1〜3行で書き、実例を20件集め、間違い1件の手直しの時間から合格の線を決めるところから始めてください。
スマートエイトの生成AI研修では、自社の業務を題材に、AIの出力を検証して実務で使える形に直す演習を扱っています → 生成AI研修の詳細
※生成AI研修資料/導入事例も無料ダウンロードいただけます。
