修复浏览器使用模型中的失败：为何更多数据并不足够
本文探讨了在浏览器使用模型（如自动化网页操作）中，单纯增加训练数据无法有效解决模型失败的根本原因。作者指出，模型在真实场景中的失败往往源于对页面动态变化、用户意图理解不足以及任务复合性等结构性挑战，而非数据量不足。因此，需要从模型架构、推理机制和训练范式上进行更根本的改进。
背景速读
- 这篇博客来自 Fig，一家在浏览器自动化领域做 AI 模型的创业公司。浏览器使用（Browseer Use）指的是让 AI 像人一样操作浏览器——点击按钮、填表单、滚动页面——而不是通过后台 API 与网站交互。这类模型是“AI 代理”（AI agent）的核心能力之一，当前行业正在大举押注“AI 自己干活”这个方向。
- 文章的核心论点在标题里：对浏览器使用模型来说，光堆更多训练数据解决不了根本问题。问题出在数据质量、任务设计的精确度、以及模型如何理解网页的结构化语义。这不是“加大算力/数据就能搞定”的 scaling law 故事。
- 背景是：目前主流大模型（GPT-4、Claude 等）在文本推理上很强，但在实际的 GUI 操作（图形界面交互）上经常出错——点错按钮、搞不清页面状态、或者无法从失败中恢复。Figure 之前的一篇博客（"Why is browser use so hard?"）已经讨论过这个难点，这篇是续篇。
- 这对 AI 行业的意义是：如果浏览器使用做不好，那“AI 帮你订机票、填报销、做客服”这类应用就始终停留在演示阶段。所以这不是一个学术问题，而是产品化落地的前沿瓶颈。