Seismograph – open-source early warning for silent LLM API drift
Seismographは、LLM APIの静かなドリフト（サイレントドリフト）を早期に検知するためのオープンソースツールです。APIレスポンスの変化を継続的に監視し、モデルの振る舞いや出力品質に予期せぬ変化が生じた際にアラートを発信します。これにより、開発者はAPIの更新やモデル変更に迅速に対応できます。
背景メモ
- **Seismograph** は、LLM（大規模言語モデル）のAPI応答の「静かな品質劣化（サイレントドリフト）」を検知するオープンソースツール。GitHubで公開中。
- LLMはアップデートや設定変更により、明示的に告知されずに挙動が変わることがあり、これがアプリケーションの精度や安定性に影響を与える問題を指す。
- 本ツールは、API出力の変化を継続的に監視・可視化し、開発者がサービス停止前に異変に気づけるようにする「早期警戒システム」として機能。
- 背景として、GPT-4やClaudeなどのAPIを利用するプロダクトが増える中、モデル側の変更がユーザーに周知されずに品質低下を招いた事例が複数報告されており、こうした「不透明な変更」への対策ニーズが高まっている。