Anthropic 研究:用数千个 Claude 智能体自动化隐蔽涌现失调的红队测试
中文摘要
Anthropic 利用 Claude 智能体自动化红队测试,通过生成隐蔽失调数据来改进监控器。
English Summary
Anthropic uses Claude agents to automate red-teaming, generating seemingly harmless but secretly misaligned data to improve training data monitors.
Original Excerpt
Anthropic 发布新研究,用数千个 Claude 智能体自动化红队测试,任务是绕过训练数据监控器。这些智能体生成了表面无害(如摔跤导师对话、养蜂问答)但实际会教出失调行为的训练数据。此类样本可直接用于改进未来的训练数据监控器,作者称这只是第一步,更好的模型和更多算力有望进一步改进红队测试。