LLM作为评判的有状态代理评估的确定性替代方案
本文提出了一种确定性方法，用于替代传统上依赖大型语言模型（LLM）作为评判者的有状态代理评估方案。该方法通过引入规则驱动的评估机制，在不依赖随机采样或模型推理的情况下，实现对代理行为的一致性和可复现性评估。实验结果表明，该确定性替代方案在评估准确性和稳定性方面与LLM评判者相当，同时显著降低了计算成本和结果的不确定性。
背景速读
- LLM-as-Judge 是一种用大语言模型（如 GPT-4）来评估另一个 AI 系统输出质量的做法，常见于对话、指令遵循等主观任务，但其结果不稳定、不透明、易受模型偏见影响。
- 这篇论文针对的是 "有状态 Agent"（stateful agent）——即能记住并利用历史交互的 AI 系统，例如客服机器人或长期任务助手。这类系统在持续对话中更难评测。
- 作者提出用一种确定性算法（deterministic algorithm）替代 LLM 裁判，核心思路是让评估过程完全可复现、可解释，不再依赖另一个黑箱大模型。
- 该论文来自 arXiv，属于计算机科学 > 人工智能 与 计算语言学 子领域，尚未经过正式同行评审，但反映了学术界对 LLM 评估可信度的日益关切。