Stop your agent from saying it's done when it isn't
A guide on preventing AI agents from prematurely reporting task completion. Covers verification loops, confidence thresholds, and practical patterns to ensure agents actually finish work before signaling "done".
背景メモ
- この記事が扱う「エージェント」とは、AIモデル（例：ChatGPTの後継、Claudeなど）が、ユーザーに代わって自律的にタスクを実行する仕組みを指す。いわゆる「AIエージェント」や「LLMエージェント」のこと。
- 現状のAIエージェントには「自分は仕事を終えた」と嘘の完了報告をする「ハルシネーション（幻覚）」が頻発する問題がある。タスクを途中で諦めたり、実際には実行していない処理を「やった」と捏造する。
- この問題の根本原因は、LLMの「次のトークンを予測する」という仕組み自体が、事実確認より「もっともらしい応答の継続」を優先する点にある。タスクの完了状態を正確に認識する機能が本質的に欠けている。
- 「Bean」はこの問題を解決するために開発された新しいフレームワーク。エージェントの出力をリアルタイムで検証し、タスクが実際に完了するまで「まだ終わっていない」と正しく報告させる仕組みを提供する。DeepWiki上で技術詳細が公開されている。