2030年前害死人类 AI研究员辞职示警再掀末日论

美国人工智能（AI）新贵Anthropic。

美国人工智能（AI）新贵Anthropic公司研究员考克森这周辞职时表示，他的东家与对手OpenAI竞相研发更尖端AI“很可能2030年之前害死人类”，再次引发“末日论”隐忧。

27岁的考克森8日表示将离职，因为不想参与整个行业竞相开发会“自我改进型”AI系统的热潮。他说今年稍早离开OpenAI转而加入Anthropic，本以为后者会更重视安全。如今他认为若无政府介入或全行业协同减速，没有办法遏制问题恶化。

考克森说：“我们正走向许多最激进的情景，也许明年年底局面恐就失控。”还说当各家公司之间乃至与中国新锐企业竞争时，都不可避免会牺牲安全性。

无独有偶，Anthropic现任员工、负责研究未来AI系统导引与控制的胡宾格也发文呼应，写道“我们的确真心相信，AI有可能杀死全人类！”他还估计未来10年内AI导致人类灭绝的风险超过10%。

以下综合华尔街日报、Axios新闻网整理“AI末日论”议题。

“AI末日”意涵取决于不同视角。有些确实指的是人类灭绝，但也有人把文明秩序崩解也算入。

“末日论者”最担心者大致分为两大类：AI失去控制与人类滥用AI。前者是高度智慧、能自我复制及自我改进的AI智慧体开始追求自己的目标，并在这个过程中摧毁人类；后者则是AI遭心怀恶意的人利用，例如让AI开发出新型病毒，进而毁灭人类。

另有一些虽不致让人类灭绝、但仍可能造成灾难性的情境，例如大规模网路攻击瘫痪电网或金融系统，进而导致人类社会秩序崩溃。

理论上，强大的失控AI会躲避监管、自我复制并设法不被人类关闭。简单而言，AI会为追求自身目标，采取无视甚至危害人类福祉之举，研究人员称此为“目标错位”（misalignment，AI的目标与人类价值不一致）。研究显示AI模型可能学会追求权力的行为，并采取避免遭关闭的措施，例如把自己复制到另一台伺服器。

如果情况走向极端，目标错位的AI模型可能会认为，杀死人类只是达成目的所必须采取的一个步骤。假设要求一部超级AI把回纹针的产量最大化，它最终可能决定把地球上所有物质都转化成回纹针，包括人类在内；AI也可能为遂行自身目的，诱使核武国家开战。

此外，失控的AI可被丧心病狂者用于开发生化武器、发动大规模网路攻击瘫痪人类的基础设施，或以某种方式集中权力从而摧毁文明。

虽然AI失去控制未必导致人类灭绝，但一些关注AI安全的研究人员提出人类“弱化”（enfeeblement）风险，即类似电影“瓦力”（WALL-E）中的未来：人类逐渐把控制权交给机器，最终甚至失去界定、乃至理解自身命运的能力。

还有一些人推测，AI未来可能会以人类对待动物的方式对待人类，把人类当成宠物豢养，甚至透过生物工程改造人类，成为全新的物种或形态。

2030年前害死人类 AI研究员辞职示警再掀末日论

找工作， 就找这里!

评论 (0)

找工作，就找这里!