AIエージェントに必要なHuman-in-the-loopとは？―― 人間の承認を残す業務設計

「AIエージェントで、すべて自動化できる」という誤解

「AIエージェントを導入すれば、業務をすべて自動化できる」。そう考えている企業は少なくありません。しかし、AIエージェントの本当の導入効果は、人間を業務から完全に外すことではありません。重要なのは、AIに任せる仕事と、人間が判断する仕事を分け、適切な場所に「人間の承認」を残すことです。

たとえば、AIが顧客へのメールを作成するところまでは自動化できても、そのまま送信させるべきでしょうか。AIが見積金額を算出したとして、承認なしで顧客へ提示してよいのでしょうか。AIが採用候補者を評価したとして、その結果だけで合否を決めてもよいのでしょうか。AIエージェントが「回答するAI」から「行動するAI」へ進化するほど、Human-in-the-loop（業務プロセスの中に人間の判断や承認を組み込む設計）が重要になります。

Human-in-the-loopとは？

Human-in-the-loopとは、AIが処理や判断を行う業務プロセスの中に、人間による確認、修正、承認、例外対応などを組み込む考え方です。一般的には「HITL」と略されます。人間がAIシステムの学習・評価・運用などに関与し、ガイダンスやフィードバックを与える協働型のアプローチとして説明されます。

AIエージェントにおけるHuman-in-the-loopでは、単にAIの回答を人が読むだけではありません。AIが作成した内容を人間が確認する／AIが実行する前に人間が承認する／AIが判断できない場合に担当者へ引き継ぐ／人間がAIの提案を修正して処理を再開する／AIの実行結果を人間が監査する／人間の修正内容を次回以降の改善に活用する、という関与を設けます。

なぜAIエージェントに人間の承認が必要なのか

従来の生成AIは、質問に対して文章や画像を生成することが中心でした。一方、AIエージェントは、目標を受け取り、必要な情報を検索し、複数のツールやシステムを操作して業務を実行します。例えば営業AIエージェントなら、CRMから顧客情報取得 → 商談履歴確認 → 提案内容の検討 → 提案メール作成 → Gmailから送信 → CRMステータス更新 → 次回フォロー登録、という一連の処理を行います。

AIが文章を作るだけなら、間違いがあっても人間が利用しなければ実害は限定的です。しかし、AIエージェントがメール送信、発注、契約、データ更新、支払いなどを実行すると、誤判断がそのまま現実の業務へ反映されます。金銭取引、利用規約への同意、現実世界に重大な影響を与える判断など、機密性や影響度の高い処理には人間を関与させることが推奨されています。

Human-in-the-loopはAIを信用しない仕組みではない

Human-in-the-loopという言葉を聞くと、「AIは間違えるから、すべて人間が確認しなければならない」と考える人もいます。しかし、すべての処理を人間が確認していては、AIエージェントを導入しても業務効率は上がりません。理想的なHuman-in-the-loopは、AIの行動をすべて止める仕組みではなく、リスクの高い行動だけを止める仕組みです。

すべてのAIエージェントの行動を人間が確認すると「形だけの承認」が増え、逆にすべてを自動化すると無制限な自律実行につながります。そのため、影響度や取り消し可能性に応じて承認を分けるリスクベースの設計が推奨されます。Human-in-the-loopの目的は、AIの能力を制限することではなく、人間が本当に判断すべき場面に集中できるようにすることです。

Human-in-the-loopが必要な5つの理由

1．AIはもっともらしい誤情報を生成することがある

生成AIは、事実と異なる内容を自然な文章で出力することがあります（ハルシネーション）。AIエージェントが誤った情報を基にメール送信やシステム更新を実行すると、単なる回答ミスではなく顧客対応ミスや業務事故につながります。特に、契約条件、価格、納期、法務、財務、人事などの情報は、人間による確認を残す必要があります。

2．業務には明文化されていない判断基準がある

実際の業務では、マニュアルだけで判断できないケースが数多くあります。同じ値引き申請でも、顧客との関係性、競合状況、将来的な取引可能性によって判断は変わります。AIはルールや過去データを参照できますが、社内政治、顧客感情、経営判断など文脈に依存する判断を常に正しく行えるとは限りません。こうした領域では、AIが情報を整理し選択肢を提示し、最終判断を人間に委ねる設計が適しています。

3．AIには責任を負わせられない

AIエージェントが判断を行ったとしても、最終的な責任はAIではなく、導入・運用している企業や担当者が負います。「AIが判断したから」という理由では、顧客や取引先への説明責任を果たせません。そのため、重大な判断では、誰が、どの情報を確認し、なぜ承認したのかを記録する必要があります。

4．例外処理は完全になくならない

どれだけ業務ルールを整備しても、必要なデータが不足している／複数の社内ルールが矛盾している／顧客から通常と異なる要望が来た／APIや外部システムでエラーが発生した／AIの確信度が低い／過去にない事例が発生した、といった想定外のケースは発生します。重要なのは、AIに無理やり判断させることではなく、判断できないケースを検知し、適切な担当者へ引き継ぐ仕組みを設けることです。

5．法規制やガバナンスへの対応が必要になる

AIの利用領域によっては、人間による監督や介入手段が重要になります。EU AI Actでは、高リスクAIシステムについて、人間がシステムの能力や限界を理解し、必要に応じて出力を無視・変更・停止できる人間による監督が定められています。すべての日本企業に同じ要件がそのまま適用されるわけではありませんが、AIを活用する企業には、説明可能性、監査記録、権限管理、停止手段などを含む業務設計が求められる方向にあります。

人間の関与には3つのレベルがある

重要なのは、どれか一つを選ぶことではありません。同じ業務の中でも、処理内容によって3つのレベルを使い分けることが必要です。

人間の承認を残すべき業務の判断基準

判断基準1：金銭的な影響があるか

発注、支払い、返金、値引き、契約金額の変更など金銭に関係する業務は承認対象にするのが基本です。金額によって承認レベルを変える方法もあります。

判断基準2：社外への影響があるか

社内で下書きを作る処理より、顧客や取引先へ情報を送信する処理の方がリスクは高くなります。特に顧客へのメール送信／見積書や契約書の送付／SNSへの投稿／ニュースリリースの公開／顧客データの更新／外部システムへの登録では、人間の確認を残すことが重要です。

判断基準3：取り消し可能か

すぐに修正できる業務は自動化しやすくなります。一方、契約締結、送金、個人情報の削除、採用の不合格通知など、一度実行すると取り消しにくい業務には承認が必要です。

判断基準4：個人の権利や評価に影響するか

採用、人事評価、融資、保険、医療、教育など、人の権利や機会に影響する判断をAIだけに任せるのは危険です。AIは判断材料の整理や一次評価を担当し、最終決定は人間が行う設計が求められます。

判断基準5：AIの判断根拠を説明できるか

AIがどの情報を基に判断したのか確認できない場合、誤りを発見することが難しくなります。承認画面には結論だけでなく、AIが実行しようとしている内容／使用したデータ／判断理由／参照した社内文書／想定される影響／AIの確信度／過去の類似事例／承認しなかった場合の処理を表示する必要があります。

リスク別に「自動・通知・承認」を分ける

さらに、同じ業務でも条件によって動作を変えます。カスタマーサポートAIエージェントの場合、自動回答するケースはマニュアルに明確な回答がある／個人情報を含まない／返金や契約変更を伴わない／確信度が高い。担当者へ通知するケースは同じ顧客から複数回問い合わせ／ネガティブな表現／必要情報が不足／確信度が一定水準を下回る。承認が必要なケースは返金が発生／契約内容を変更／クレームや法的問題／顧客情報を削除／例外的な補償を提案。このように、業務単位ではなくAIが実行するアクション単位でリスクを分類することが重要です。

業務別Human-in-the-loopの設計例

良い承認画面と悪い承認画面の違い

Human-in-the-loopを導入しても、承認画面が不十分だと正しい判断はできません。

悪い設計では、承認者が内容を十分に確認せず反射的に承認する「承認疲れ」が起きます。人間による監督の実効性を保つには、レビュー件数を管理し、優先順位を付け、判断に必要な情報と時間を提供する必要があります。重要なのは承認ボタンを付けることではなく、短時間で正しい判断ができる情報を承認者へ提示することです。

Human-in-the-loopを設計する7つのステップ

導入当初はやや多めに承認を設定しても構いません。運用ログを分析し、ほぼ100％承認されている処理は自動実行へ移行、修正や却下が多い処理はAIのプロンプト・参照データ・判断ルールを改善します。

Human-in-the-loop導入でよくある失敗

失敗1：すべての処理を承認制にする

安全性を重視するあまり、すべての処理で承認を求めると、承認待ちがボトルネックになります。AIが数秒で処理しても、人間の承認に数時間かかれば業務全体は速くなりません。

失敗2：従来の承認フローをそのまま残す

AI導入前に3人の承認が必要だったからといって、導入後も同じフローが必要とは限りません。AIによるルールチェックや証跡作成を組み合わせれば、承認者や確認項目を減らせる可能性があります。

失敗3：承認者へ結論しか見せない

AIの提案だけを表示しても承認者は判断できません。根拠、参照情報、変更内容、リスクを同時に提示する必要があります。

失敗4：承認者がAIを過信する

AIが作った内容だから正しいと思い込み、確認せず承認するケースがあります。承認者には、AIの能力だけでなく、限界、誤り方、確認すべきポイントを教育する必要があります。

失敗5：却下や修正を改善につなげない

Human-in-the-loopで集まる人間の修正データは、AIエージェントを改善するための重要な情報です。却下理由や修正内容を記録せず、毎回同じミスを人間が直しているだけでは、運用コストは下がりません。

Human-in-the-loopで測るべきKPI

導入効果は単純な自動化率だけで評価してはいけません。次の指標を組み合わせます。

目標は、最初から承認をゼロにすることではありません。安全性を維持しながら、人間が判断しなくてもよい処理を少しずつ増やしていくことです。

まとめ：AIエージェント導入の成否は「どこで人間が止めるか」で決まる

AIエージェントは、情報を生成するだけでなく、複数のシステムを操作し、業務を実行できるようになっています。その結果、これまで以上に大きな業務効率化を実現できる一方、AIの誤判断がそのまま顧客対応、発注、支払い、契約、採用などへ反映されるリスクも生まれます。だからこそ必要なのがHuman-in-the-loopです。

ただし、すべての処理を人間が確認するのが正解ではありません。低リスクな処理はAIが自動実行する／中リスクな処理はAIが実行して人間へ通知する／高リスクな処理は人間の承認後に実行する／判断できない例外だけを担当者へ引き継ぐ／人間の修正結果をAIの改善につなげる。このように、業務の影響度と取り消し可能性に応じて人間の関与を設計することが重要です。

AIエージェントの性能差だけでは、企業の競争力は決まりません。これから差がつくのは、AIを導入した企業ではなく、AIと人間が最も効率よく協働できる業務プロセスを設計した企業です。

※ 本記事に登場する各AIサービス・フレームワーク名はそれぞれの提供元の商標または登録商標です。EU AI Actをはじめとする法規制の要件は改定される可能性があります。仕様や提供形態は変更される可能性があるため、導入前に各提供元・当局の最新情報をご確認ください。