耐久性のあるエージェントワークフローにおけるトークン管理とキャンセル
ストリーミングLLMエージェントのワークフローでは、未完了のトークンが発生し、コストとリソースの無駄につながる。本記事では、耐久性のあるエージェント設計においてトークンの正確な計上（アカウンティング）とリクエストのキャンセルを適切に処理するための実践的な手法を解説する。これにより、エージェントの信頼性を維持しながら無駄な支出を防ぐことが可能になる。
背景メモ
- LLM（大規模言語モデル）エージェントがユーザーに応答を「ストリーミング」配信する際、応答の途中で処理をキャンセルしたいケースがある（例：ユーザーが割り込んだ、別のエージェントが先に回答した）。この記事は、そのような「実行中のストリーミングを安全に止める」仕組みを扱っている。
- 「トークン勘定（token accounting）」とは、LLMが出力した各トークン（単語の断片）を正確にカウントし、課金や制御に使う技術。ストリーミング中にキャンセルが起きると、途中まで生成されたトークンの扱いが曖昧になりやすい。
- 「Durable agent workflows」は、エージェントの実行状態をデータベース等に永続化し、障害やキャンセル後も一貫性を保つ設計思想。TemporalやAWS Step Functionsのようなワークフローエンジンが背景にある。
- この問題の難しさは、LLM APIが「生成を途中で止める」標準的な方法を提供していない点にある。自力でコネクションを切断すると、既に送信済みのトークンが「使ったのに課金だけ発生」する状態になりうる。