新基准评估AI在日常患者护理中的表现

Mass General Brigham推出了一项新基准，用于评估人工智能在日常患者护理中的实际表现。该基准旨在衡量AI工具在真实临床环境中的准确性和可靠性，而不仅仅是在理想化的测试条件下。这项研究为医疗机构选择和部署AI技术提供了重要参考，确保其在日常诊疗中能够安全有效地辅助医生决策。

背景速读

- 美国麻省总医院与布莱根妇女医院（合并为 Mass General Brigham）发布了一项新的基准测试，用于评估 AI 在真实临床场景中的表现，而非仅基于标准化考试或影像数据集。 - 传统上，AI 医疗模型（如 GPT-4、Med-PaLM）的评测多依赖美国医师执照考试（USMLE）或公开问答集，但这些方式无法反映真实临床中的信息不完整、病历冗长、决策时间紧迫等问题。 - 该基准名为 "CareBench"，包含 51 个病例和 63 个开放式问题，覆盖急诊科、病房、门诊等场景，测试 AI 在诊断、检查和治疗决策上的能力。 - 关键发现：即使顶尖模型（如 GPT-4o）在不需要预训练医学数据的任务上表现较好，但在更依赖临床经验的复杂推理上仍不如人类医生。 - 这一基准的意义在于推动 AI 评估从 "考试分数" 转向 "临床实用性"，帮助医疗机构判断哪些 AI 技术可以安全地部署到日常患者照护中。