Runtime Fisher Spectral Sensitivity for Early Hallucination Detection
本論文では、大規模言語モデル（LLM）におけるハルシネーション（幻覚）を早期に検出するための新しい手法「Runtime Fisher Spectral Sensitivity（RFSS）」を提案する。RFSSは、モデルの内部表現におけるスペクトル感度をフィッシャー情報に基づいて解析し、生成過程の初期段階でハルシネーションを識別する。従来の手法と比較して、計算効率が高く、リアルタイムでの適用が可能であることを実験的に示している。
背景メモ
大規模言語モデル（LLM）が事実と異なる内容を自信満々に出力する「ハルシネーション」問題への対策として、新しい検出手法を提案した研究プレプリント。従来の手法は推論完了後にテキストを検証する「事後検出」が主流だったが、本稿ではモデルがテキストを生成している最中（トークン単位）にリアルタイムでハルシネーションを検出する「Runtime Fisher Spectral Sensitivity（RFSS）」という手法を導入。Fisher情報量とスペクトル分析を組み合わせ、モデルの内部表現の揺れを捉えることで、生成中の異常を早期に発見する。