スマートエイト トップページ
資料ダウンロード無料相談予約はこちら
資料作成

AIエージェントの精度の上げ方|JA共済連の審査AIに学ぶ3つの工夫

公開日:2026/11/20小坂井 聖也の写真執筆・監修:小坂井 聖也
AIエージェントの精度の上げ方|JA共済連の審査AIに学ぶ3つの工夫

はじめに

社内の資料を読ませたAIエージェントを試したものの、答えがずれていて結局使えなかった、という経験はないでしょうか。AIの精度が出ないと、もっと賢い道具に替えるしかないと考えがちです。

本記事では、AIエージェントの精度の上げ方を、JA共済連が審査の下調べに使うAIを「使えない精度」から育てた事例をもとに解説します。スマートエイトは企業向けの生成AI研修とAIエージェントの開発で、業務に合わせてAIの答えを直す作業を重ねてきました。

結論を先に書きます。精度を上げた手は、道具の乗り換えではありませんでした。過去事例を1件ずつ分けて渡すこと、結論の前に争点を出させること、読み取れない所を人が補うこと、の3つです。

本記事は、2026年11月20日時点の公開情報をもとにしています。JA共済連の事例のうち、人の判断との一致の7〜8割と、負荷の2割減は、同会が取材で示した評価と実感です。

AIエージェントの精度が出なかった理由|JA共済連の審査AIで起きたこと

JA共済連の審査AIは、最初の段階では実務に使えない精度でした。原因はAIの賢さではなく、過去の事例をそのまま読ませた渡し方にありました。

表のまま過去事例を読ませたAIが誤る流れ。申請「冷蔵庫の購入」を、表のまま探して言葉が同じ事例を拾い、過去の結論を写して目的を見ないまま判断を誤る、の4段を左から右へ並べた図

審査の下調べという仕事

JA共済連には、各地のJAが行う地域貢献の活動に、基金からお金を出すかどうかを決める仕事があります。申請は都道府県の本部が受け付け、判断が難しい物が全国本部に上がります。

担当者が見極めるのは、その活動が基金の対象になる「地域貢献」か、対象外の「事業」かです。線引きが難しく、回答まで3〜4日かかることもあったと担当の主査は振り返ります。この取材記事は途中から会員限定で、続きは会員登録をすると読めます。

判断の材料は、ガイドラインと過去の照会の記録です。そこでJA共済連は、直近3年間の約600件の照会の記録とガイドラインをつないだAIエージェントを試しに入れました。

キーワードが合うだけで結論を写した

最初は、過去の照会の記録をExcelのまま読ませていました。するとAIは案件の文脈をつかめず、言葉が一致した過去事例の結論を、そのまま答えにしてしまいました。

取材で挙がった例は「冷蔵庫の購入」です。この言葉があるだけで、AIは過去に認めた事例と同じだと早合点し、申請の目的を見ないまま判断を誤りました。

人の担当者なら、冷蔵庫を何のために買うのかを先に確かめます。AIはその確かめを飛ばし、似た言葉の事例の結論を写していたことになります。

精度の問題は渡し方と問い方にある

この失敗は、JA共済連に限った話ではありません。表の形のまま資料を渡し、いきなり「可否は?」と聞くと、AIは言葉の似た事例に引っ張られやすくなります。

AIの答えがずれたとき、最初に疑うのは道具ではなく、資料の渡し方と問いの順番です。JA共済連は、ここを3つの工夫で直しました。次の章から順に見ていきます。

精度の上げ方①過去事例の分け方|1件ずつ分けたテキストにして渡す

1つ目の工夫は、過去事例を1件ずつ分けて渡すことです。事例どうしの境目をはっきりさせると、ほかの事例の結論が混ざらなくなります。

過去事例の渡し方の前と後。前は1枚の表に数百件が並び、どの結論がどの申請か混ざる。後は申請の目的・申請の中身・結論・結論の理由・根拠の規程を書いた1件ずつのテキストに分けて渡す図

1件ずつ分けると結論が混ざらなくなる

JA共済連は、開発を手伝った会社と相談し、Excelの記録を1件ごとの独立したテキストに分けて整えました。見出しや記号で区切る*マークダウン形式で書き、意味の近さで探せる形に変換してから、AIに読み込ませています。

1件ごとの境目がはっきりしたことで、事例どうしの結論が混ざる誤りが減りました。探し方も、言葉が表面で一致するかどうかに左右されにくい形に変わりました。

一般に、1行に申請の中身と結論を詰めた表を、行が数百並んだまままとめて読ませると、AIはどの結論がどの申請のものかを取り違えやすくなります。1件ずつ分けるのは、この取り違えを防ぐためです。

データで精度を上げるなら、量より形が効く

データを入れ続ければ、AIはだんだん賢くなる。そう期待する声は、よく聞きます。

店舗サービスの会社の代表も、商談でAIを使い込む先の姿を次のように話していました。

「どんどんデータを入れていきながら。より精度の高いものになってくると。これは相当面白いですね。」

— 店舗サービスの会社の代表(スマートエイトの商談より、2026年10月)

データを入れて精度を上げるには、量より形が効きます。JA共済連の例で精度を上げたのは、件数を増やすことではなく、同じ約600件を1件ずつ境目を付けた形に変えたことでした。

自社で分けるなら、1件に入れる5つの項目

自社の過去事例を分けるときは、1件の記録に入れる項目をそろえます。例えば、次の5つを見出しにした形です。

# 事例番号 2024-031
申請の目的:
申請の中身:
結論:対象/対象外
結論の理由:
根拠にした規程の箇所:

大事なのは「申請の目的」と「結論の理由」を、中身とは別の欄に書くことです。冷蔵庫の例のように、AIが言葉ではなく目的と理由で事例を比べられるようになります。

経費の精算や取引先の審査、問い合わせへの回答の可否など、過去の判断例をもとに決める仕事なら同じ形が使えます。まずは直近の判断例を数十件、この形に書き出すところから始められます。

*マークダウン:見出しや箇条書きを「#」などの記号で書き分ける文章の書き方。AIが文書の区切りを読み取りやすくなる。

精度の上げ方②③問いの順番と補足|結論の前に争点を出させる

2つ目の工夫は、AIにいきなり結論を出させないことです。3つ目は、AIが申請の意図を読み取れないときに、人が背景を足して対話を重ねることです。

審査の下調べを頼む順番の図。争点を出す、過去事例と照らす、見立てと根拠を出す、人が背景を補う、の4段を並べ、読み取れない時は補って聞き直す戻りの矢印を添えた図

いきなり可否を聞かない

JA共済連は、AIに可否の結論をすぐ出させる手順をやめました。まず「今回の判断で確かめるべき争点は何か」をAIに洗い出させ、その争点をもとに過去の記録と照らし合わせる順番に変えています。

この順番にしたことで、判断基準に沿った根拠を示せるようになったといいます。冷蔵庫の例なら、例えば「何のために買うのか」「活動の誰が得をするのか」が争点になり、言葉だけで結論を写す誤りを防げます。

スマートエイトの研修でも、データ分析をAIに頼むときは、いきなり集計させずに、先に列の意味や表記の揺れを確かめさせる順番を教えています。結論や集計の前に、確かめる点を出させるという考え方は同じです。

争点を先に出させる頼み方の例

自社で試すなら、頼む文の中で順番を指定します。審査の下調べを頼む文は、例えば次のように書けます。

次の申請が、規程の対象になるかを判断する下調べをします。まだ結論は書かないでください。
1. この申請で判断が分かれそうな点(争点)を3つまで挙げてください。
2. 争点ごとに、近い過去事例を3件まで、事例番号と結論の理由つきで示してください。
3. 最後に、可否の見立てと、根拠にした事例と規程の箇所を書いてください。
資料から読み取れない点は推測せず、「申請者に確かめること」として分けてください。

最後の1行は、足りない情報をAIが推測で埋めないための指定です。可否の見立てを最後に回すと、AIが結論に合わせて根拠を探す順番の逆転も起きにくくなります。

読み取れない所は、人が背景を足す

申請書の書き方によっては、AIが活動の意図を読み取れないこともあります。JA共済連では、最初の回答で意図が十分に読み取れないとき、担当者が背景や目的を書き足して対話を重ねる使い方を定着させました。

1回の質問で正解を出させようとせず、AIの答えを見てから補うという使い方です。AIに足りないのは賢さではなく、申請書に書かれていない背景であることが多いからです。

写真から機器の型を当てたい、という場面でも考え方は同じです。AIに「これは何か」と聞くより、自社の製品の写真の一覧のように、あらかじめ用意した候補のどれに近いかを比べさせる形のほうが、答えを絞りやすくなります。

精度が上がったかの測り方|人の判断と何件中何件合うかで数える

精度を上げる工夫は、測らないと効いたかどうか分かりません。JA共済連は、AIの答えが人の判断とどれだけ合うかで、実用に届いたかを見ています。

AIエージェントの精度を自社で測る3手順。答えの分かる事例を選ぶ、AIに同じ判断をさせる、何件中何件合うか数えて工夫を足すたびに数え直す、を3枚のカードに並べた図

人の判断との一致は7〜8割、負荷は2割減の実感

JA共済連が取材で示した評価では、3つの工夫の結果、AIの答えは約7〜8割が人の判断と合う水準に届きました。担当者は、照会への対応の負荷が2割ほど減った実感があると話しています。数字が載った後半は、会員登録をすると読めます。

効いたのは、経験の浅い職員でも、どの言葉で探せばよいかを推測せずに調べられるようになった点です。AIは答えと一緒に、根拠にした過去事例とガイドラインの箇所も示すため、若手が判断の勘所を学ぶ教材にもなっています。

一方で、JA共済連はAIに最終の回答まで出させるつもりはないとしています。AIの答えは下調べの参考で、最終の判断は必ず担当者が行う、という位置づけです。

自社で測るなら、答えの分かる過去事例を使う

取材で示された7〜8割は、何件の事例で比べた数字かまでは分かりません。自社で精度を測るときは、結論がすでに分かっている過去事例を選び、AIに同じ判断をさせて、何件中何件合うかを数えます。工夫を1つ足すたびに同じ事例で数え直せば、どの工夫が効いたかが分かります。

スマートエイトがAIエージェントを開発するときも、作る前にお客様と答えの分かる過去の実例を選び、何件中何件合えば本番に進むかを決めておきます。合格の線を先に決めておくと、「なんとなく使えない」で終わらずに済みます。

AIの答えを点数で比べる考え方は、Claude AcademyのEvals入門でも型ごとに整理しています。

道具を替えても、精度は大きく変わらなかったという感触

JA共済連は2025年7月の検証の始めに、調べ物や情報の整理に強い点を見て、Googleの基盤を選びました。取材記事はこの基盤を、2025年10月に今の名前になった*Gemini Enterpriseと呼んでいます。

いまは同じ手順をMicrosoftの*Copilot Studioで再現できるかを比べています。出力の形の指定を合わせれば、実用面の精度に大きな差はない、という感触だといいます。

道具を替える前に、事例の分け方と問いの順番を見直す価値があることが分かります。自社で始めるなら、すでに契約している道具の上で、3つの工夫を試すのが早道です。

かけた手間がどれだけ返ってきたかを測る方法は、生成AIの費用対効果を測る4つの問いで解説しています。

*Gemini Enterprise:Googleの会社向けAI。社内の資料とつなぎ、資料に基づいて答えるAIエージェントを作れる。2025年10月まではGoogle Agentspaceという名前だった。

*Copilot Studio:Microsoftの、プログラムをほとんど書かずに作れるローコードの道具。AIエージェントや自動の処理を作り、社内のデータとつないで使う。

よくある質問|AIエージェントの精度の上げ方

過去事例は何件あれば始められますか?

件数の決まりはありません。JA共済連は直近3年間の約600件を使いましたが、自社で試すなら、まず数十件を1件ずつの形に書き出し、何件中何件合うかを数えるところから始められます。合わない事例の傾向を見てから件数を増やすほうが、手戻りが少なくなります。

AIに最終の判断まで任せてもよいですか?

審査や可否の判断は、最終の判断を人に残す使い方をおすすめします。JA共済連も、AIの答えは下調べの参考と位置づけ、最終の判断は担当者が行っています。JA共済連の事例のように人の判断と7〜8割合う水準でも、残りの2〜3割を見分けるのは人の仕事です。

Gemini EnterpriseとCopilot Studioのどちらで作るべきですか?

すでに使っている業務の道具に合わせて選ぶのが現実的です。一般論としては、Google Workspaceが中心ならGemini Enterprise、Microsoft 365が中心ならCopilot Studioから試すのが自然です。

Gemini EnterpriseもSharePointやOneDriveとつなげるため、どちらを選んでも社内の資料は読めます。JA共済連の比較でも、出力の形を合わせれば精度に大きな差はないという感触でした。

Excelの表のまま渡すのは、なぜよくないのですか?

一般に、1行に申請の中身と結論が詰まった表をまとめて渡すと、AIはどの結論がどの申請のものかを取り違えやすくなります。JA共済連でも、Excelのままでは言葉の一致だけで結論を写す誤りが起きました。1件ずつ分け、目的と理由を別の欄に書くと、事例を目的で比べられるようになります。

さいごに

本記事では、JA共済連の審査AIの事例をもとに、AIエージェントの精度の上げ方を解説しました。効いたのは道具の乗り換えではなく、過去事例を1件ずつ分けること、結論の前に争点を出させること、読み取れない所を人が補うこと、の3つでした。

AIの答えがそのまま使えないと感じている会社は、まず答えの分かる過去事例を数十件選び、何件中何件合うかを数えるところから始めてみてください。数字があれば、どの工夫が効いたかを確かめながら進められます。

スマートエイトの生成AI研修では、頼む文の順番の組み立て方や、AIの答えの確かめ方を、受講者の実際の業務を題材に扱っています。

※生成AI研修資料/導入事例も無料ダウンロードいただけます。

スマートエイト トップページ