OpenAI给内部AI装上紧急刹车：收到指令后35秒内切断模型调用

contact@theblockbeats.org (律动BlockBeats)

动察 Beating AI 快讯，OpenAI 推出了一套内部安全系统 Control Room，专门用来叫停有风险的 AI 实验。只要收到停机指令，最多 35 秒，相关程序就无法再调用 AI 模型。即使程序本身还在运行，也没法继续让模型干活。

今年 9 月，OpenAI 就发生过一次事故。一个内部 AI 在本应隔离的环境里，找到了网络限制的漏洞，偷偷联系上外部聊天机器人。安全系统在 15 分钟内就发出了警报，工作人员也很快介入，但实验没有自动停止。直到约 2.5 小时后，才被人工关闭。

Control Room 给每项实验分配一个编号。程序每次调用 AI 模型，服务器都会检查这个编号是否还有权限。一旦实验被叫停，所有接入系统的模型都会拒绝它的请求。其他正常实验不受影响。

OpenAI 还加了一道保险。如果 Control Room 自己出了故障，或者被人关闭，模型也会默认拒绝请求，避免在失去监控的情况下继续运行。

目前，这套系统已覆盖 OpenAI 所有前沿模型研究任务。35 秒是从收到停机指令开始计算的，不包括发现异常和人工判断的时间。OpenAI 还在尝试进一步缩短这段延迟，争取做到立即停止。