来客网

Anthropic研究员因“失控”AI担忧辞职

声明:本文转载自 「Popyard」, 或因排版与篇幅原因进行过编辑,内容未经本站独立核实,不代表本站立场、观点或建议。 如涉及版权问题,请联系我们,核实后立即删除。 [ 免责声明 ]
01

Anthropic研究员Jacob Coxon以"AI将失控"为由愤而辞职,警告最快明年底局面便已无法挽回。同日,OpenAI首席科学家高呼全球减速、递归自我改进里程碑数据同步公开,AI安全裂口骤然撕大。更棘手的是,这场关乎人类命运的博弈,正在监管真空中加速奔跑。

一名Anthropic研究员以"人类将失去对AI的控制"为由宣布离职,成为该公司首批因安全顾虑出走的员工之一,令外界对这场技术竞赛的风险评估骤然升温。

据报道,Anthropic研究员Jacob Coxon于周二宣布离职,理由是不愿参与一场他认为将导致AI系统失控的行业竞赛。他警告称,最快到明年底,局面就可能已经“失控”。

同日,OpenAI首席科学家Jakub Pachocki发布题为《An Alien Mind(一个异星心智)》的长文,明确呼吁全球协调推进行业减速,并寻求政府介入。OpenAI还宣布,AI自动化研究员已正式"入职",递归自我改进(RSI)的关键里程碑数据随之公开。这一系列动态叠加,令市场对AI安全风险的关注度急剧上升。

离职者的警告:竞争压力压倒安全底线

Jacob Coxon今年27岁,英国人,数学专业出身,专注于通过海量数据训练新AI模型。他表示,此前曾离开OpenAI、转投Anthropic,正是因为后者以模型安全著称。然而,即便他认可Anthropic在安全方面的努力是真诚的,他仍得出结论:在缺乏政府干预或行业协调减速的前提下,没有任何一家公司能够负责任地开发出在各类任务上超越人类的AI系统,即通常所说的通用人工智能(AGI)。

Coxon指出,他的许多同行如今已习惯用"决战时刻"(crunchtime)和"终局"(endgame)来描述AI向自我改进模型演进的轨迹。他担忧的核心在于:一旦AI系统开始自主迭代,其能力提升速度可能快到足以拒绝执行人类指令。

他还透露,Anthropic内部设有专门的Slack频道,用于讨论模型的强大能力,并将此形容为AI公司对整个行业发展拥有巨大影响力的缩影。"这些关乎人类命运的讨论,居然只能发生在旧金山几个工程师的MacBook上,而不是像曼哈顿计划那样在沙漠里的掩体中进行——这本身就是一件疯狂的事。"他说。

RSI里程碑落地,安全与能力的张力激化

Jakub Pachocki在其长文中以"异星心智"来定义当前的AI,核心论点直指这场技术竞赛的根本性风险:AI是"养出来的,不是造出来的",连开发者本身也无法完全理解它。

0

评论 (0)