OpenAI 部署控制室系统,35 秒内叫停失控 AI 智能体
中文摘要
OpenAI部署控制室系统,通过任务ID校验与推理拦截,在35秒内即可叫停失控AI智能体,并配备监控以确保模型安全。
English Summary
OpenAI deployed a control room system that halts runaway AI agents within 35 seconds by intercepting inference requests, ensuring safety through task verification and real-time monitoring.
Original Excerpt
OpenAI 宣布已在内部研究设施部署控制室系统,可在收到停止指令后最长 35 秒内阻止失控 AI 智能体继续输出。任务需先向控制室请求唯一任务 ID 并附加到推理请求,由控制室确认任务能否运行,停止时拒绝下一次推理请求。延迟源于推理授权请求的缓存层,公司正努力缩短至 0;所有前沿强化学习任务还配备独立模型监控器,发现潜在问题时发出警报。