AIが判断を間違えた時どうするか｜直す前に「直さない」を検討する

AIの誤りを見つけたときの記事はたくさんあります。学習データを直す、回答を追加する、シナリオを見直す。どれも「間違いは直すもの」という前提です。

ところが実際に運用していると、直さないほうが正解だった間違いに何度も出会います。この記事は、AIが人間に回してきた通知の半分以上が誤検知だと分かったのに、調べた上で直さないと決めた話です。そして、その判断をどうやってしているかを書きます。生成AIで業務のどこが何分減るかという全体像は生成AIで業務効率化した企業事例｜何分減ったかを業務別に解説にまとめています。

結論｜直す前に「直すべきか」を先に決める

AIの間違いを見つけたときの正しい順番は、こうです。

1. 何件あるか数える。印象で「よく間違える」と言わない
2. 放っておくと何が起きるか考える。実害がないなら候補から外す
3. 直したときの副作用を見積もる。直すと別のものが硬くなることがあります
4. それでも直すべきなら直す。ここまで来て初めて手を動かします

多くの現場では1と2が飛ばされます。間違いを見つけた瞬間に直し始めるので、直さなくてよかったものまで直してしまいます。

実例｜誤検知の54%を、調べた上で直さなかった

問い合わせ対応をAIに任せている運用で、AIが「これは自分では答えられない」と判断したものを人間に回す仕組みを入れています。ある時点で、その通知が多すぎるという話になりました。

そこで、直近に人へ回された24件を1件ずつ中身を確認しました。結果、13件——全体の54%——が、業務とは無関係のやり取りの誤検知でした。運営側の人間が私的なメッセージのやり取りをしていたものを、AIが「答えられない問い合わせ」として拾い上げていたのです。

数字だけ見れば「精度が悪い」という結論になります。改修すべきだ、という提案も出ました。しかし、直さないと決めました。

なぜ直さないほうがよかったのか

理由は3つあります。

• 実害がなかった。誤検知の中身は通知が1件増えるだけで、顧客には何も起きていません。人間が見て「これは違う」と分かれば終わりです
• そもそも設計どおりだった。このAIは、業務の問い合わせ以外には反応しない方針で作ってあります。業務外の会話に「沈黙したうえで人に回す」のは、仕様として間違っていません
• 直すと硬くなる。「これは業務外の会話だ」と判別させるには、判定を厳しくする必要があります。厳しくすれば、本物の問い合わせを取りこぼす危険が増えます

3つ目が本質です。誤検知を減らす調整は、たいてい「見逃し」を増やす方向に働きます。通知が1件多いことのコストと、本物の問い合わせを1件落とすことのコストを比べたら、後者のほうが圧倒的に高い。だから、通知が余分に来るほうを受け入れました。

直すべき間違いと、放置してよい間違いの分け方

実務では、この2つを分ける基準を持っておくと迷いません。

• 必ず直す｜顧客に届いてしまう間違い。お金・契約・安全に関わる誤った回答。相手が信じて行動すると損害が出るもの
• 直すか検討する｜本来答えられるはずの質問に答えられていないもの。取りこぼしは機会損失になります
• 放置してよい｜社内側で1手間増えるだけのもの。人が見れば判別できるもの。実害が「ちょっと面倒」で止まるもの

先ほどの54%は、3番目でした。顧客側には何も起きておらず、人が見れば1秒で判別できます。

なお1番目——顧客に届く間違い——については、そもそも起こさないための線引きが必要です。実際にAIが存在しない規約を作って顧客に答えてしまった事故と、その後に作った線引きは問い合わせ対応をAIに任せる｜嘘をつかせないための設計に書いています。この記事で扱っているのは「起きた後にどう扱うか」で、あちらは「起こさないための設計」です。

「直しすぎ」が起こす問題

間違いを見つけるたびに直していくと、数ヶ月後にこうなります。

• 条件が増えすぎて、全体像を誰も把握できなくなる
• ある調整が別の場所に影響して、直したはずの箇所がまた壊れる
• 担当者が代わると、なぜその条件があるのか誰にも分からなくなる

これはAIに限らず、業務ルールでもマニュアルでも同じです。例外対応を足し続けた結果、本来の設計が読めなくなる。そして「触ると何が壊れるか分からないので誰も触らない」という状態に到達します。

だから「直さない」は、手抜きではなく設計を守る行為です。直さない判断を積極的に選べるチームのほうが、長く運用できます。

自社のAI運用で出ている間違いが、どれに当たるかの仕分けは外から見たほうが早いことがあります。30分・無料・オンライン可の個別相談で、実際に出ている症状を3つ挙げていただければ「直す／様子を見る／放置」に分けてお返しします。売り込みはしません。

直さないと決めたら、記録に残す

ひとつだけ、必ずやることがあります。「調べた上で直さないと決めた」という事実を残すことです。

残さないと、3ヶ月後に別の人が同じ誤検知を見つけて、また同じ調査を一からやります。さらに悪いことに、その人は経緯を知らないので「放置されている不具合だ」と判断して直してしまいます。そして本物の問い合わせを取りこぼすようになります。

• いつ、何件調べたか
• どういう内容だったか
• なぜ直さないと判断したか（ここが一番重要です）

3行で構いません。この3行がないと、「直さない」という判断は組織に残らず、個人の記憶と一緒に消えます。

判断の手順

まとめると、AIの間違いを見つけたときの手順はこうなります。

1. まとめて見る。1件ずつ反応せず、1〜2週間ぶんを一度に確認します。毎日見ると件数が少なすぎて傾向が読めません
2. 中身を数える。何件中何件がどの種類か。印象で語らないためです
3. 顧客に届いたかで分ける。届いていれば最優先。社内で止まっているなら急ぎません
4. 直したときの副作用を考える。厳しくすると見逃しが増えます
5. 判断を3行で記録する。直す場合も直さない場合も残します

1番目が地味に効きます。間違いを見つけるたびに反応していると、判断が「その1件」に引きずられます。まとめて見ると、全体の中でその1件がどのくらいの比率なのかが分かります。

この「戻せるか」という観点は、そもそもAIに何を任せるかを決める段階でも同じように効きます。AIエージェントとは？中小企業が最初に任せる仕事を「戻せるか」で選ぶで解説しています。

よくある質問

間違いを放置して、精度が落ちていきませんか？

放置と判断するのは「実害が社内の1手間で止まるもの」だけです。顧客に届く間違いや、答えられるはずの質問の取りこぼしは直します。すべてを放置するという話ではありません。

どのくらいの頻度で見直すべきですか？

週1回程度がちょうどよいと感じています。毎日だと件数が少なくて傾向が読めず、月1回だと対応が遅れます。まとめて見ることで、1件への過剰反応も防げます。

「直さない」と決めたことを、上司にどう説明しますか？

件数と、直した場合の副作用をセットで示すのが有効です。「◯件中◯件は社内で止まる誤検知。直すと本物の問い合わせを落とす危険が増える」という形にすると、放置ではなく判断だと伝わります。

まとめ

• AIの間違いを見つけたら、直す前に「数える→実害を見る→副作用を見積もる」を通す
• 実例では、人へ回された24件のうち13件（54%）が業務外のやり取りの誤検知だったが、調べた上で直さないと決めた
• 理由は実害がない・設計どおり・直すと本物の問い合わせを取りこぼす危険が増えるから
• 分け方は「顧客に届く間違い＝必ず直す」「取りこぼし＝検討」「社内の1手間で止まる＝放置してよい」
• 直しすぎると条件が増えて全体像が読めなくなり、誰も触れなくなる
• 直さないと決めたら3行で記録する。残さないと別の人が同じ調査をやり直し、経緯を知らずに直してしまう

いま出ている症状が「直すべきか」の仕分けは、実物を見れば判断できます。30分・無料・オンライン可の個別相談をご利用ください。