“史上最严”湿实验预测基准发布:推理拉满、算力翻 5 倍也白搭
中文摘要
UniPat AI发布SPU基准,测试AI湿实验预测能力。强模型如Opus 5.5仅一半任务超随机水平,AI距可靠预测仍有距离。
English Summary
UniPat AI launched SPU, a stringent wet lab prediction benchmark. Even powerful AIs like Opus 5.5 only slightly beat random chance on half tasks, showing AI is still far from reliable wet lab prediction.
Original Excerpt
📌 一句话摘要 UniPat AI 推出 Science Prediction Universe 基准,测试 AI 在湿实验条件下的预测能力,结果显示即使强如 Opus 5.5,也仅有约一半任务超过随机水平,模型距离可靠预测仍有较大差距。 📝 详细摘要 Science Prediction Universe (SPU) 是一个专门评估 AI 湿实验预测能力的基准,包含 116 个任务和 4207 个实验。测试结果显示,...