Back to Home
RadarAI··Papers & Tech

Noam Brown 称赞 Blood on the Clocktower 评测方法并向 Dwarkesh 抛出橄榄枝

中文摘要

Dwarkesh 通过《血染钟楼》游戏测试 AI 欺骗与推理能力,Noam Brown 对此高度评价并邀请其加入 OpenAI 开发评估体系。

English Summary

Dwarkesh built a benchmark using *Blood on the Clocktower* to test AI deception, prompting Noam Brown to praise the method and invite him to join OpenAI's evals team.

Original Excerpt

Dwarkesh Patel 花费 20,000 美元 API 额度让多个 AI 模型在社交欺骗游戏 Blood on the Clocktower 中对弈,并上线了 benchmark 网站 clocktowerbench.com,也开放让人类与 AI 对玩。他观察到模型今年在临场策划、虚张声势和协作推理拆穿阴谋方面明显进步,并称 OpenAI 新模型在该游戏上明显强于 Anthropic。Noam Brown 转发表示对该评测方法印象深刻,并邀请 Dwarkesh 到 OpenAI 设计 evals;附图给出了 GPT-6 Astra、GPT-6.1 Sol、Fable 5.1、Opus ...