私たちのLLM評価者をどのように評価するか
本記事では、LLMを評価者として用いる際の信頼性を検証するための摂動ベースのアプローチについて解説します。入力に意図的な摂動（小さな変更）を加え、評価者の判定がどの程度変化するかを測定することで、LLM評価者の一貫性と頑健性を定量的に評価する方法を提案しています。
関連記事
A Twitter user proposes a test comparing tax advice from a large language model and a financial newsletter, asking which provides a more valuable answer on how to lower one's tax rate accurately and specifically.