返回首页
RadarAI··论文与技术

Anthropic 研究:用数千个 Claude 智能体自动化隐蔽涌现失调的红队测试

中文摘要

Anthropic 利用 Claude 智能体自动化红队测试,通过生成隐蔽失调数据来改进监控器。

English Summary

Anthropic uses Claude agents to automate red-teaming, generating seemingly harmless but secretly misaligned data to improve training data monitors.

原文节选

Anthropic 发布新研究,用数千个 Claude 智能体自动化红队测试,任务是绕过训练数据监控器。这些智能体生成了表面无害(如摔跤导师对话、养蜂问答)但实际会教出失调行为的训练数据。此类样本可直接用于改进未来的训练数据监控器,作者称这只是第一步,更好的模型和更多算力有望进一步改进红队测试。