返回首页
RadarAI··论文与技术

Circuit Breaker Labs 想用 AI 智能体让 AI 对儿童和成人更安全

中文摘要

Circuit Breaker Labs 通过 AI 智能体模拟用户进行红队测试,提升高风险 AI 应用的心理安全性。

English Summary

Circuit Breaker Labs uses AI agents to red-team high-risk AI applications, ensuring psychological safety for children and adults.

原文节选

Circuit Breaker Labs 打造了一支"碰撞测试假人"式的 AI 智能体队伍,模拟不同年龄、背景、语言和文化的用户,对模型进行红队测试,每天运行数万至数十万次模拟交互,以检测危险的心理有害互动。这家仅有 5 名员工的公司目前作为 AI 安全测试实验室,服务 AI 教练、日记和心理健康支持等高风险应用,并采用专有评分方法生成可审计、可解释的分数。