OpenAI：开源 PaperBench 重塑评测标准

快讯正文

【OpenAI 开源全新 AIAgent 评测基准 PaperBench】今日凌晨 1 点，OpenAI 对外开源了一个崭新的 AIAgent 评测基准，名为 PaperBench。此基准重点考查智能体的搜索、整合以及执行等方面的能力，要求对 2024 年国际机器学习大会上顶尖论文进行复现，涵盖对论文内容的理解、代码编写以及实验执行等相关能力。据 OpenAI 所公布的测试数据表明，当下知名大模型塑造的智能体，尚不能击败顶级机器学习专业博士。不过，其在辅助学习、了解科研内容等方面颇具助益。