在标签稀缺时让优化发挥作用
本文探讨了在监督学习任务中标签稀疏的情况下，如何通过优化技术解决模型训练难题。研究提出了一种结合伪标签、对比学习和主动学习的方法，在仅有少量标注数据时仍能实现高效的安全分类器。实验表明，该方法在标签数量减少90%的情况下，仍能保持与全监督基线相当的准确率。
背景速读
- 本文讨论的是「安全分类器」（Safety Classifier）——一种用于检测有害内容（如暴力、仇恨言论）的 AI 模型。核心挑战在于：标注足够多的有害样本非常昂贵且耗时，导致「标签稀疏」（Sparse Labels）问题。
- 作者所属的 Gnosis Labs 是一家为 AI 安全提供红队测试（Red Teaming，即主动攻击测试以发现漏洞）和评估服务的创业公司。
- 文章介绍了一种名为「正例-无标签学习」（Positive-Unlabeled Learning, PU Learning）的技术路线，该技术允许模型仅从少量已标注的有害样本和大量未标注数据中学习，无需昂贵的负样本标注。
- 该方法的实用性在于：安全分类器是部署 LLM（大语言模型）应用时的必要防线，但传统监督学习对数据标注要求极高。PU Learning 提供了一条低成本、高效的技术路径，使小团队也能构建可靠的安全过滤层。