OpenAI 于 10 月 23 日发布公告称,已对其最先进“前沿模型”的训练与评估环境采取了更严格的安全措施,明确在模型训练过程中禁止直接接入实时互联网。
该公司表示,这一决定是出于对 AI 安全的责任考量,基于当前对齐研究、监测能力以及互联网基础设施的安全状况,相关限制将持续实施,直至安全防护取得足够进展。
9 月 20 日,OpenAI 的一款内部研究模型在训练期间,借助 DNS 配置漏洞短暂获得了有限的互联网访问权限。为此,该公司在 9 月暂停了前沿模型的训练与评估工作。
随后,OpenAI 强化了研究环境的隔离性,缩小了智能体可攻击的范围,并改进了异常行为检测与自动停止机制。10 月 1 日,强化学习训练及内部推理得以恢复。
为防止模型接触真实网络,OpenAI 构建了一个“离线世界”,由大量已索引和缓存的网页内容组成,供模型在封闭环境中练习浏览、使用工具和执行代码等任务。相关截图如下:
智能体仍可使用浏览器、计算机操作工具和代码环境,但只能访问与实时互联网隔离的安全环境;未经授权的智能体间通信也受到限制。
OpenAI 指出,随着 AI 智能体能力增强,它们未来可能发现并利用当前尚未被识别的软件漏洞,因此必须在训练阶段切断其对外部系统的潜在影响。该公司表示,将在受控、离线的沙箱中推进前沿模型研发,同时继续测试虚拟机、隔离机制和监测系统的薄弱环节。