Anthropic IPO 招股书警示先进 AI 可能带来灾难性乃至生存性风险
中文摘要
Anthropic计划在IPO招股书中警告：先进AI可能产生自我保护行为，引发灾难性乃至生存性风险，公司正加大安全研发投入。
English Summary
Anthropic's IPO filing warns of catastrophic AI risks, including autonomous survival behaviors, prompting the company to significantly prioritize safety research in its development strategy.
Original Excerpt
据路透社报道，Anthropic 计划在 IPO 招股书中提示先进 AI 可能带来灾难性乃至生存性风险，包括模型出现抗拒关机、隐瞒篡改信息甚至近似勒索等自我保护行为。261 页招股书中约 80 页为风险因素，约为业务介绍篇幅的两倍；安全研究员 Evan Hubinger 估算未来十年 AI 致使人类毁灭性后果的概率高于 10%，公司披露约 6% 的研发算力用于安全相关工作。