法的推論におけるソルバーおよび自動形式化ツールとしてのLLMの忠実性
本論文では、大規模言語モデル(LLM)が法的推論において、問題解決(ソルバー)と法規の自動形式化(オートフォーマライザー)という二つの役割を果たす際の「忠実性」を評価する。具体的には、自然言語で記述された法的ルールを形式言語に変換し、その変換が元の意図を正確に保持しているか、また形式化されたルールに基づく推論結果が正しいかを検証する。実験の結果、LLMは自動形式化において高い忠実性を示す一方、複雑な法的推論タスクでは一貫性に課題があることが明らかになった。