用程序合成解释注意力机制

本文提出了一种新方法，利用程序合成技术来解释神经网络中的注意力机制。通过将注意力模式转化为可读的程序，该方法能够更直观地揭示模型在决策时所关注的关键信息，为理解深度学习模型的内部工作原理提供了新的视角和工具。

背景速读

- 这篇论文提出用「程序合成」（program synthesis，即自动生成可执行的符号代码）来解释 Transformer 模型中的注意力机制，而不是用传统的注意力图或梯度归因方法。