Lighthouse Attention

Nous Research 提出了一种名为 Lighthouse Attention 的新型注意力机制，旨在提升 Transformer 模型在长序列任务中的效率与性能。该方法通过智能地聚焦于关键信息区域，减少计算开销，同时保持或增强模型的表现力，为大规模语言模型的推理和训练提供了更高效的解决方案。