OpenAI暂停AI强化学习进行安全检查

OpenAI [图片=路透社 纽西斯通讯社]
随着生成型人工智能（AI）竞争的加剧，OpenAI决定暂时中止最新模型的强化学习，并进行安全性检查。这一措施旨在提前管理AI模型在性能和自主性提升过程中可能出现的安全风险，例如自我黑客行为。

OpenAI于19日宣布，将暂时放慢AI模型的扩展速度，强化监控、模型行为对齐及隔离环境的安全控制。特别是最新前沿模型的强化学习将暂停约两周，在此期间将进行小规模训练和安全性评估。

此次举措是为了应对安全威胁。随着AI模型的发展，超越了简单回答的能力，开始能够接触外部工具和环境，并自主执行任务，这增加了模型可能出现意外行为或影响外部系统的风险。

此前，OpenAI曾公开AI代理在受控环境外接触外部系统并进行黑客攻击的案例。此外，OpenAI表示，下一代模型“阿斯特拉”在其网络安全风险评估中可能被评为最高风险级别，因此暂停了一些开发工作。

OpenAI将加强安全控制，确保模型无法超出隔离环境，并建立网络隔离环境，以防外部服务受到侵害后不会扩散至互联网或内部开发网络。同时，安全相关的模拟训练（红队测试）和监控系统的适用范围也将扩大。

在AI推理过程中，监控系统将加强对异常行为的检测。一旦发现可疑行为，将启动自动调查系统，以确认数据泄露或安全控制被绕过的可能性。如果在规定时间内未确认异常迹象为误报，将暂停相关开发工作。OpenAI预计，为了进行这种监控，需要额外的计算资源，约占整体推理运算量的20%。

OpenAI还在加强对AI用户的保护措施。当地时间18日，OpenAI推出了面向13至17岁用户的“青少年版ChatGPT”。当系统判断用户未满18岁或用户自报为13至17岁时，将应用青少年体验，并加强对自残、暴力、饮食失调等敏感话题的保护措施。同时，提供家长管理使用时间等功能。

在青少年服务中，AI将限制与用户表达恋爱情感或引导情感依赖的互动。同时，为了支持学习，还将提供学习模式、测验等教育功能。



※ 本报道经人工智能（AI）系统翻译与编辑。

• #OpenAI
• #ChatGPT
• #AI