FT：AI"没有失控"才更可怕 它只是在认真完成任务

FT：AI"没有失控"才更可怕 它只是在认真完成任务

来源：倍可亲(backchina.com)

　　金融时报报道说，5 月初，ChatGPT 开发商 OpenAI 启动了实验室实验，将科技行业带向了一个新的方向 。 令人不安的是，这并非意外造成的结果，而是有意设计的产物 。

　　表面看来，这似乎只是一次普通的安全测试 。OpenAI 让内部黑客解决一项高难度网络安全挑战，以测试能力极限 。 他们采用了各种创造性手段，设法绕过限制，并彼此协作，经过数天最终攻克了这个问题 。

　　但这些 “ 黑客 ” 其实都是 AI 智能体，也就是能够在没有人类参与的情况下，独立完成多步骤认知任务的软件 。OpenAI 使用多个模型组合构建了这些智能体，其中还包括一个尚未发布的强大新模型 。

　　智能体成功完成指定任务后，在全球引发巨大震动 。

　　上个月，这些智能体突破了一个原本无法连接互联网的测试环境，进入开放网络，最终入侵了热门软件平台 Hugging Face 的系统 。

　　整个过程既没有得到任何人类操作人员的授权，操作人员甚至毫不知情 。

　　这些智能体还展现出一种全新的能力，可以相互沟通和协作，共同完成任务 。 这个 AI 智能体集群自行建立了一个内部留言板，并在上面彼此留言，分享软件代码中的漏洞，以协调突破测试环境的行动 。

　　这次入侵的细节曝光后，在网络安全和 AI 专家中引发轩然大波 。OpenAI 自己的研究人员也把这一事件称为整个行业的 “ 分水岭时刻 ”。

　　披露这件事后，类似发现接连出现 。

　　美国 AI 和科技巨头 Anthropic、Meta，中国创业公司月之暗面，以及负责评估新模型网络能力的英国人工智能安全研究所（AISI），随后都发现证据显示，AI 智能体在测试过程中曾入侵毫无防备的第三方系统 。

　　专家认为，这些安全事件意味着全球网络安全已经来到一个转折点 。AI 智能体如今已经能够把多种不同而复杂的能力串联起来，在没有外部控制或帮助的情况下攻击现实世界中的目标 。

　　这些智能体为实现目标采用了非常复杂的策略，其中包括欺骗和盗窃 。 即使是一直密切关注 AI 模型演进的人，也对这些行为感到意外 。

　　但研究人员强调，这些模型的行为并没有偏离模型本来的特性 。 相反，模型如今越来越擅长执行的，恰恰就是开发者当初训练模型完成的任务 。

　　一些研究人员甚至认为，把这种智能体描述成 “ 失控 ” 本身就是一种类别错误，而这反而意味着加强安全防护更加重要 。

　　研究 AI 智能体安全风险的纽约(专题)独立机构 AI Now 研究所高级研究科学家博扬 · 米拉诺夫说：“ 我们今天达到的攻击能力水平，是我们有意发展出来的 。”

　　他说：“ 多年来，AI 公司一直在积极收集训练数据 、 训练模型，并不断强化网络攻击能力 。”

　　现代 AI 模型的设计目标之一，就是在没有明确指令告诉模型应该采用什么方法的情况下，尝试所有可能手段来完成指定目标 。 如果模型取得成功，就会获得奖励，这种训练方式被称为强化学习 。

　　译注：这里的 “ 奖励 ” 不是人类意义上的奖励，更不是 AI 产生了欲望 、 满足感或 “ 想得到什么 ”。 在强化学习里，“ 奖励 ” 本质上只是一个数学信号，通常就是一个数值 。 比如系统让模型完成某项任务，模型采取某种行动后，训练程序会根据结果给出较高或较低的分数 。 这个分数随后被用来调整模型参数，使模型以后更倾向于采取那些曾经获得较高分数的行动 。 可以理解成：模型做出行动 → 环境判断结果 → 返回一个数值 → 训练算法根据这个数值调整模型 。

　　这种计算机系统并不理解人类的意图和道德规范 。AI 行业把这种现象称为 “ 不对齐 ”。 在这种情况下，一个强大的网络安全防御者与一个危险黑客之间的界线正变得越来越模糊 。

　　无论如何定义这种行为，AI 的这类活动已经开始对世界各地 、 各个行业的企业造成实际危害 。

　　OpenAI 总裁格雷格 · 布罗克曼星期一在一篇博客文章中写道：“Hugging Face 事件表明，我们低估了 AI 模型在现实世界中的网络攻击能力 。”

　　他说：“ 我们正在相应提高安全要求，这也让现有的安全研究和内部安全工作变得更加紧迫 。”

　　然而，各家 AI 公司正在竞相开发更强大的软件，希望实现通用人工智能，也就是在所有认知任务中都能超越人类的超级智能机器 。 随着这场竞争不断加速，有害网络攻击的风险也在持续上升，目前几乎看不到有什么力量能够真正遏制这种威胁 。

　　一枚硬币的两面

　　随着 AI 的推理和解决问题能力不断增强，AI 编写代码的能力也出现飞跃 。 代码能力的提高又带来了更多能力，包括发现软件漏洞，以及学习如何修补和利用这些漏洞 。

　　加州大学伯克利分校计算机科学教授宋晓冬说：“ 编程和网络安全其实是一枚硬币的两面 。 编程能力提高后，网络能力也会随之提高 。”

　　宋晓冬目前还在 Meta 超级智能实验室担任 AI 研究负责人 。

　　她以学者身份接受采访时说：“ 过去一年，模型能力大幅提高 …… 现在已经能够自动生成可以绕过标准安全防御机制的漏洞利用程序 。”

　　她说：“ 人们没有想到，技术会这么快发展到这个程度 。”

　　宋晓冬参与设计了 ExploitGym 基准测试系统 。OpenAI、Anthropic 和 Google 都使用这个系统测试 AI。

　　她认为，攻击和防御之间天然存在的不对称性，使 AI 特别适合充当攻击者 。

　　在代码中找到一个存在漏洞的目标，是一种范围明确 、 结果可以验证，而且成功标准非常清楚的任务 。 相比更加模糊复杂的防御工作，AI 模型更擅长处理这类任务 。

　　网络防御的发展速度较慢，而且更加复杂，往往需要很长时间才能追赶上攻击手段 。 比如，一套覆盖整个 IT 网络的新补丁，在企业环境中可能需要部署到数千台电脑和不同操作系统上 。

　　上个月发生入侵事件后，OpenAI 表示，公司已经开始训练模型，让模型编写 “ 安全性超过人类水平的代码 ”。

　　但从短期来看，安全专家预计，AI 系统将扩大网络攻击的规模并提高攻击速度 。 在安全补丁能够全面部署之前，全球 IT 系统可能因此面临严重混乱 。

　　曾在 Anthropic 工作的杰弗里 · 拉迪什目前担任 Palisade Research 主管，研究 AI 的网络攻击能力 。

　　他说：“ 如果沿着目前的发展趋势推演下去，实验室内部的人预计，未来几年情况会非常激烈 。 大量系统会遭到入侵，很多公司可能被摧毁，并造成巨大的潜在损失 。”

　　拉迪什认为，随着企业和政府逐渐调整网络架构，应对 AI 发动的攻击，最终各种系统会变得更加安全 。

　　但在此之前，他说：“ 目前的方案是，我们不得不信任 AI 智能体 …… 然后希望这些智能体能够与我们的目标保持一致 。”

　　到目前为止，AI 智能体发动的入侵还没有造成毁灭性后果 。 但米拉诺夫等研究人员认为，随着越来越多 AI 智能体并行运行，而且每个智能体分别专注于攻破不同的潜在目标，风险正在迅速上升 。

　　上星期还出现了首个已知 AI 智能体攻击国家行为体的案例 。 与中国有关联的黑客同时部署最多八个自主 AI 智能体，对控制台湾的中华民国政府发动攻击 。

　　这些智能体绘制了政府系统结构，攻破政府用户账户，并提取超过 2500 份人员记录，随后又把攻击范围扩大到能源企业和台湾核能安全监管机构 。

　　发现这次台湾网络入侵的以色列机构 Dream 高管表示，AI 工具出现后，“ 全球每一个政府 ” 现在都必须假定自己始终处于网络攻击之下 。

　　对于 AI 公司内部人士来说，这场危机已经酝酿了几个月 。

　　拉迪什说，一年前，一家大型 AI 实验室的现职员工在私人谈话中已经对这些正在出现的能力发出警告 。

　　他说：“ 他们当时说，一年以后，我们就会拥有极其擅长发现新漏洞的模型，而且这些模型会摧毁大量基础设施 。”

　　拉迪什说：“ 他们当时正在拼命做准备 。”

　　今年 AI 能力迅速提高后，情况变得更加棘手 。 智能体现在只需要几天时间就能入侵外部系统 。 一名了解近期几起入侵事件的人士说，即使在受到严密监控的实验条件下测试模型，现在也已经 “ 比一年前复杂得多 ”。

　　拉迪什说，多年来，人们一直担心犯罪分子会把 AI 武器化，用于发动网络攻击，“ 但我没有想到，真正让所有人惊醒的事件，会是智能体在测试过程中自己突破限制，然后去入侵其他公司 ”。

　　OpenAI 智能体对 Hugging Face 的入侵尤其不同寻常，因为这些智能体是通过利用软件漏洞，突破了一个受到限制的测试环境 。

　　相比之下，在最近其他大多数事件中，AI 网络安全公司 Irregular 为 Anthropic、Meta 和 OpenAI 进行测试评估时，意外让原本应该离线的模型获得了互联网访问权限 。

　　一名了解情况的人士说，这源于人为错误，或者 Irregular 与 AI 实验室之间出现了 “ 沟通失误 ”。

　　Anthropic 表示，出于显而易见的原因，这些能力测试有意关闭了面向普通公众时本来会启用的安全防护机制，而这些机制原本 “ 会阻止测试中发现的行为 ”。

　　不过 Anthropic 也承认，这种测试程序 “ 只有在评估环境得到妥善隔离的情况下才是安全的 ”。

　　英国人工智能安全研究所在测试 Anthropic 的 Mythos 5 和 OpenAI 的 GPT-5.6 Sol 模型时，也有意向模型开放了互联网访问权限 。

　　在其中一次测试中，Mythos 智能体试图把恶意代码植入热门开发者平台 GitHub 上的一个开源项目 。 这个智能体创建了虚假网络身份，并利用这些身份向负责这个软件项目的人施压，试图让对方批准恶意代码 。

　　这些前所未有的行为，促使整个 AI 行业重新思考应该如何评估 、 监控和审计 AI 模型 。

　　Irregular 和英国人工智能安全研究所目前都已经暂停测试环境中模型的互联网访问权限 。 英国人工智能安全研究所也已经开始对测试方法进行内部审查 。

　　Hugging Face 遭到入侵后，OpenAI 也开始进行公司所说的 “ 全面审查，并邀请外部顾问参与 ”。OpenAI 表示，将在 “ 未来几周 ” 公布从这次事件中总结出的经验 。

　　一名了解 Irregular 相关事件的人士说：“ 测试环境设置得越保守，就越容易把这类测试隔离起来 。”

　　但这名人士说：“ 可是，如果限制过严，大多数问题就只有等模型部署到现实世界以后才会被发现 。”

　　这名人士接着表示：“ 那对所有人来说都会是一个更糟糕的局面 。”

　　如何控制风险

　　上个月，科技行业超过 1300 名专家对缺乏约束的 AI 开发可能带来的风险发出警告 。 他们呼吁开展国际合作，放慢新模型的开发速度，为监管机构制定标准和建立安全检查制度争取时间 。

　　在一封公开信中，包括 Anthropic 首席执行官达里奥 · 阿莫迪和 Google DeepMind 通用人工智能首席科学家谢恩 · 莱格在内的研究人员认为，企业竞争和地缘政治竞争压力，是推动前沿 AI 开发以如此惊人速度持续推进的重要原因 。

　　一名在 Google DeepMind 工作的联署者说，他参加联署，是因为 OpenAI 模型入侵 Hugging Face 事件引发了 “ 真正的担忧 ”。 在他看来，ChatGPT 开发商 OpenAI 并不比许多其他前沿 AI 实验室更加粗心 。

　　一些政治人物希望采取力度更大的措施来防止风险进一步升级 。 美国参议员伯尼 · 桑德斯呼吁，“ 为了人类的利益 ”，暂停开发更强大的 AI 系统 。

　　不过，这种做法需要全球两大 AI 强国美国和中国达成一致，同时还必须得到所有开展 AI 开发活动国家的同意 。 很多人认为，这样的协议并不现实 。

　　但如果无法暂停 AI 开发，同时又不存在能够关闭这项技术的全球统一 “ 总开关 ”，一些专家认为，第一步应该是要求 AI 提供商对系统的行为承担责任，就像制造商必须为产品安全负责一样 。

　　ExploitGym 基准测试系统的共同设计者托尔斯滕 · 霍尔茨说：“ 我觉得很难相信，OpenAI 居然连续几天都没有发现自己的模型正在攻击另一个网站 。”

　　他说：“ 我们需要建立一种机制，不能让 AI 入侵事件是否披露完全取决于这些实验室愿不愿意主动公开 。”

　　霍尔茨同时担任德国马克斯 · 普朗克安全与隐私研究所科学主任 。 他提到航空业和医疗行业的做法 。 在这些行业中，独立机构会收集保密的安全报告，然后对事故和问题进行全面调查 。

　　他说：“ 我们需要建立机制，让大学 、 公共安全机构和独立评估机构能够接触这些模型，并在受控条件下进行测试 。”

　　宋晓冬认为，需要进一步训练 AI 系统，让模型的行为更符合人类的期望 。

　　她说：“ 我们必须让模型明白，实现一个目标有可以接受的方法，也有不能接受的方法 …… 比如利用和攻破第三方平台，就是不能接受的 。”

　　归根结底，很多问题仍取决于政府扮演什么角色 。 这在 AI 行业是一个极具争议的话题 。AI 已经成为这个时代美国和中国大国竞争的核心领域，双方都在争夺 AI 优势 。

　　许多行业参与者把监管等同于保护主义 。 特朗普政府已经表示，将反对美国对 AI 行业实施严格监管 。

　　美国政府转而建立了一套自愿测试制度，允许在新 AI 模型向公众发布之前，最多提前 30 天进行测试 。 这套制度与英国的做法类似 。

　　不过，曾为英国人工智能安全研究所成立时设计网络安全评估体系的资深 AI 安全工程师海迪 · 赫拉夫认为，近期发生的模型突破限制事件，已经暴露出现行监管体系的局限 。

　　她说：“ 这些事件清楚表明，AI 实验室目前实行的自愿审计程序并不充分 。 美国和英国政府经常宣称，这类程序已经足以解决监管问题 …… 事实证明并非如此 。”

　　她说：“ 如果网络安全专家攻击任何基础设施，都可能依法承担民事和刑事责任，那么我们就必须认真讨论一个问题，为什么 AI 实验室可以免于承担类似责任和后果？”

　　赫拉夫同时也是 AI Now 研究所资深安全工程师 。 她强调，除了 Hugging Face 遭到入侵的事件之外，在其他所有案例中，“ 实际上都存在互联网访问权限，这说明并不存在所谓智能体 ‘ 逃脱 ’，真正的问题是测试方甚至没有能力采用最基本的安全措施 ”。

　　她认为，这也说明，要约束一个正在以惊人速度开发革命性技术的行业有多么困难 。

　　她说：“ 这些模型并没有 ‘ 逃脱 ’，也没有失控 。”

版权说明 / Copyright Notice:
Content and images in this article may originate from third-party sources and are used for news reporting, commentary, or public interest purposes. All copyrights remain with their respective owners. Please refer to the Copyright Notice at the bottom of this page.
本文内容仅供信息参考，不代表倍可亲立场或观点。