返回首页
RadarAI··论文与技术

OpenAI 部署控制室系统,35 秒内叫停失控 AI 智能体

中文摘要

OpenAI部署控制室系统,通过任务ID校验与推理拦截,在35秒内即可叫停失控AI智能体,并配备监控以确保模型安全。

English Summary

OpenAI deployed a control room system that halts runaway AI agents within 35 seconds by intercepting inference requests, ensuring safety through task verification and real-time monitoring.

原文节选

OpenAI 宣布已在内部研究设施部署控制室系统,可在收到停止指令后最长 35 秒内阻止失控 AI 智能体继续输出。任务需先向控制室请求唯一任务 ID 并附加到推理请求,由控制室确认任务能否运行,停止时拒绝下一次推理请求。延迟源于推理授权请求的缓存层,公司正努力缩短至 0;所有前沿强化学习任务还配备独立模型监控器,发现潜在问题时发出警报。