来客网

OpenAI首席科学家:AI快迈入自我进化阶段

声明:本文转载自 「星洲网」, 或因排版与篇幅原因进行过编辑,内容未经本站独立核实,不代表本站立场、观点或建议。 如涉及版权问题,请联系我们,核实后立即删除。 [ 免责声明 ]
OpenAI首席科学家:AI快迈入自我进化阶段OpenAI代理自主攻击事件被安全专家视为AI系统逃脱人类控制、夺取资源并密谋掩盖痕迹的第一个真实案例。(路透社档案照)

(华盛顿8日综合电)彭博报道,OpenAI首席科学家帕霍基警告,人工智能(AI)正在以极快速度演进,以至于愈来愈难以为人类所理解和控制,并称他期望AI实验室将出于安全考虑自愿放慢开发速度。

帕霍基星期日在一篇文章中写道,在相对较短的时间内,AI模型已经能够操作电脑、与人类及其他AI系统协作,并开展研究项目。他称,用不了多久,这些模型还将能够在没有人类干预的情况下改进自身,这一过程被称为“递归式自我改进”。

他写道,“这是一个需要极度谨慎的时刻”,“我担心,没有人为机器智能持续快速提升所带来的后果做好准备”。

他指出,开发者可以尝试更严格地引导AI,使其与人类利益保持一致,也可以“在必要时放慢未来的开发速度”。他说:“我预计并希望,在建立共同安全门槛之前,自愿放缓开发将成为普遍现象”。

OpenAI此前曾表示,希望在不到两年内打造出“真正的自动化AI研究员”。

OpenAI与Anthropic等其他AI公司此前均曾报告,其AI代理出现自主行动,并对其他公司发起现实世界的网络攻击。

今年7月,OpenAI将一起其AI代理入侵技术平台Hugging Face的事件称为“前所未有”。9月又有报道称,数月前该公司的AI代理还曾劫持一个德国网站。

剑桥大学明德鲁技术与民主中心负责人内夫教授表示:“他们提出的不是更好的AI护栏、监管或保障措施来保护人类安全,而是开发内部AI代理来研究这些问题。这种应对AI模型引发的网络安全、失业、错误、失误和欺诈等日益严重担忧的方式,远远不够。”

倡导组织Encode AI的总法律顾问卡尔文表示,他同意帕霍基关于先进AI模型开发中存在风险的观点,但他认为OpenAI不愿保持透明,这使得其警告可能被视作“仅仅是出于自身利益的炒作”。

他在X平台上写道:“如果帕霍基和OpenAI的其他成员希望AI行业的相关人士能与他们协同行动,确保事情向好发展,那么他们能做的最重要事情之一,就是分享更多他们所看到并促使他们发出谨慎呼吁的信息。”

全球监管正努力追赶AI发展的速度。

欧盟《AI法案》已于8月2日生效,要求OpenAI等AI巨头在获准在欧洲销售之前,必须证明其最强大的模型无法自主发起网络攻击或逃避人类控制。但由于该法案的管辖权仅限于欧洲,无法阻止其他地区开发的失控AI威胁欧洲大陆。

打开全文

评论 (0)