AIエージェントが行う操作を、別のAIが事前にチェックして危ない操作だけ人に確認させる仕組みを、AWSが業務向けAIワークスペース「AWS Quick」に導入しました。機能名は「Smart Approvals」です。
背景には、AIエージェントが何かするたびに「実行してよいですか」と人間に確認を求めますが、肝心の人間が中身を見ずに承認してしまう問題があります。AWSは、警告が繰り返されると注意力が下がるという研究に触れ、承認を増やすのではなく、人の判断が要る場面に注意を残すことが目的だとしています。
処理は2段階です。まず従来の権限設定（Custom Permissions、Quick Guardrails、コネクタのアクション権限、ユーザー設定）で判定し、拒否された操作は拒否のまま、人の承認が必須とされた操作も必須のままです。この判定の上で、ユーザー設定が「毎回確認」でほかに承認の要件がない操作だけが、自動レビューの対象になります。
自動レビューでは「分類器」と呼ぶ別のモデルが、操作の内容、データの送り先、影響を受ける人を、ユーザーの依頼と会話の範囲に照らして評価します。社内の人間関係も参照し、たとえば送信先が上司かどうかを判断します。組織外への送信、アクセス権の変更、レコード削除、支払いの開始などは、依頼に合っていても人に戻す設計です。
AWSが挙げる例では、依頼者が「同僚2人に資料を送って」と頼んだのに、参照したメモに「2000人の営業全員にも送るべき」と書かれていた場合、送信は本人に差し戻されます。取り込んだ文書の指示でエージェントを操る「間接プロンプトインジェクション」への対策にもなるとしています。
自動承認は1回限りで、レビュー済みの操作とパラメーターにだけ有効です。分類器のタイムアウトなどレビューの失敗は、自動承認ではなく人に戻ります。関連する権限の更新はAWS CloudTrailに記録され、チャットログと突き合わせて後から検証できます。
一方でAWS自身も「モデルによるレビューは間違えることがある」と明記し、機密データを移す操作などは権限設定で必ず人の承認を求めるよう勧めています。導入はパイロットチームから始め、自動承認の一部をサンプル確認してから広げる手順を示しています。
