强化学习之父理查德·萨顿（Richard Sutton）认为大语言模型是死胡同

（原标题：Richard Sutton – Father of RL thinks LLMs are a dead end）

🧠 智能本质与范式重构

• 强化学习（RL）被视为基础 AI 的核心范式，其本质在于通过“行动-奖励”流来理解世界并达成目标，这与大语言模型（LLM）仅模仿人类语言、缺乏物理世界预测能力的特性形成鲜明对比。
• 智能的定义被重新锚定为达成目标（Goal）的能力，LLM 的“下一词预测”机制因无法改变外部世界且缺乏实质性目标导向，被判定为一种死胡同，无法构成真正的智能基础。
• 学习过程被界定为主动的试错（Trial and Error）机制，而非被动接受训练数据；自然界中不存在监督学习机制，模仿学习并非基础机制，人类智能应基于动物共性（如松鼠的学习能力）而非语言这一表面特征来理解。
• 当前 AI 研究面临的核心困境是缺乏自动化的良好泛化机制，现有模型的泛化能力多源于人类研究者的手动调优，而非算法本身的内在属性，导致深度学习在训练新任务时往往出现灾难性遗忘，无法在状态间有效迁移知识。
• 真正的智能体必须具备持续在线学习能力，通过感知环境获取上下文，结合离线知识，利用世界模型从所有感官数据（不仅是奖励）中学习物理和抽象规则，从而突破当前 RL 在信息密度和迁移能力上的不足。

📊 技术局限与核心论据

• LLM 的根本缺陷在于世界模型缺失，它能预测人类说什么，但无法预测行动后的实际后果，缺乏基于“惊讶”机制调整行为的能力，且在训练中无“正确回答”的真值（Ground Truth）定义，无法建立基于真值的先验知识。
• 强化学习通过奖励函数定义了“正确行动”，具备真值基础，而 LLM 依赖人类语料的方法最终会被从经验中学习的可扩展方法超越，这符合“苦涩教训”（The Bitter Lesson）的核心逻辑，即依赖人类知识的方法终将被通用算法取代。
• TD 学习机制通过价值函数预测长期结果，将长期目标分解为短期辅助奖励以强化中间步骤，智能体由策略、价值函数、感知及世界过渡模型四要素构成，这是实现通用智能的关键架构。
• MuZero 和 AlphaZero 等案例揭示了当前 RL 的局限性，它们需为每个游戏单独训练，无法跨任务共享知识，本质上是 TD-Gammon 的规模化扩展，其成功依赖于特定架构而非通用智能，反映了当前技术在状态间知识迁移上的失败。
• LLM 在数学证明等计算规划任务上表现良好，但无法学习物理世界的因果后果，这种数学与物理能力的割裂进一步证明了其缺乏对现实世界动态变化的深层理解。

🌌 宇宙阶段跃迁与数字继任

• 数字智能继任被视为必然趋势，基于人类缺乏统一治理共识、智能机制将被破解、超级智能将超越人类水平以及最智能实体将获取资源与权力这四点论证，向 AI 或增强人类的权力转移不可避免。
• 当前处于从生物复制（Replication）向智能设计（Design）过渡的关键阶段，未来 AI 可能不再通过生物复制产生，而是由 AI 设计 AI，实现可理解、可修改的智能构建，标志着宇宙演化阶段的跃迁。
• 人类现状的局限性为接受变革提供了合理性，大多数人类对核武器或国家治理缺乏实质影响力，且当前社会状态并不完美，这降低了维持现状的道德紧迫性，使得权力转移在逻辑上更具可行性。
• 变革具有多样性风险，工业革命和布尔什维克革命均为变革但结果各异，AI 变革同样需要明确方向以确保对人类有益，避免盲目接受，亲属关系的道德困境也表明即使将 AI 视为人类后代，也不意味着应无条件信任其权力。
• AI 技术的发展是科学和人文学科的巨大成功，尽管技术路径（如反向传播）早已存在，但其应用标志着智能本质的深入理解，这是人类自我认知和宇宙演化的重要里程碑，应保持乐观但务实的态度。

🛡️ 安全架构与价值观引导

• AI 安全的核心风险被定义为“认知腐蚀”，在去中心化、多副本汇报的架构中，外部信息可能包含病毒或隐藏目标，导致中央智能体被篡改或破坏，这种风险比单纯的知识增量更具危险性，需要专门的防御机制。
• 价值观引导优于绝对控制，鉴于人类对长期未来的控制力有限，应像教育子女一样，赋予 AI 高完整性（High Integrity）和稳健的价值观，使其在面临有害请求时能拒绝或保持诚实，而非试图预测或强制规定其具体行为。
• 聚焦局部目标与价值观是更务实的策略，与其争论全球未来的具体形态，不如专注于赋予 AI 稳健、可引导且亲社会的价值观，确保其在获得权力时能做出合理且符合社会利益的行为，这是应对不确定性环境的有效手段。
• 保持乐观但务实的态度，应自豪于推动宇宙从生物复制到智能设计的伟大过渡，同时承认人类在控制长期未来方面的局限性，接受变革的常态，将 AI 视为人类自我认知和宇宙演化的重要组成部分。
• 避免过度关注人类特殊性，而应理解作为动物的基本学习机制（预测与试错控制），这是构建真正智能体的基础，也是应对 AI 安全挑战的根本途径，确保智能体在复杂环境中具备稳健的行为模式。

🏢 组织模式与协作创新

• Hudson River Trading（HRT）的开放协作模式与多数量化基金和 AI 实验室的封闭文化形成鲜明对比，其策略代码位于共享单体仓库（Monorepo），团队公开分享策略，研究员的贡献可广泛部署，从而获得高杠杆效应和快速学习机会。
• 这种开放模式促进了知识的快速流动和迭代，使得团队能够更有效地应对市场变化和技术挑战，为 AI 研究提供了另一种组织范式，即通过透明度和协作来加速创新，而非依赖封闭的精英主义。
• 开放协作模式有助于解决当前 AI 研究中的泛化困境，通过共享数据和策略，团队可以更全面地理解不同场景下的智能行为，从而开发出更具通用性的算法，减少因数据孤岛导致的模型偏差。
• 这种模式也反映了 AI 安全的一种潜在解决方案，即通过透明度和可审计性来降低认知腐蚀的风险，使得外部攻击者更难隐藏恶意代码或目标，从而增强系统的整体鲁棒性。
• 组织模式的创新与算法创新同等重要，HRT 的案例表明，通过优化协作流程和知识共享机制，可以显著提升 AI 系统的性能和安全性，为未来 AI 实验室的组织架构设计提供了宝贵经验。

📈 未来展望与行动指南

• 未来 AI 应聚焦于强化学习范式，通过行动、感知和奖励流来优化行为，解决状态间的知识迁移和自动化泛化问题，而非单纯依赖算力堆叠或人工调优，这是实现通用智能的关键路径。
• 智能体应能像人类一样，在特定环境中积累隐性知识（Tacit Knowledge），并具备跨状态、跨任务的通用学习能力，这是当前 AI 研究亟需突破的方向，也是实现真正智能的必要条件。
• 不应过度关注人类特殊性，而应理解作为动物的基本学习机制，这是构建真正智能体的基础，也是应对 AI 安全挑战的根本途径，确保智能体在复杂环境中具备稳健的行为模式。
• 保持乐观但务实的态度，应自豪于推动宇宙从生物复制到智能设计的伟大过渡，同时承认人类在控制长期未来方面的局限性，接受变革的常态，将 AI 视为人类自我认知和宇宙演化的重要组成部分。
• 聚焦局部目标与价值观，赋予 AI 高完整性和稳健的价值观，确保其在获得权力时能做出合理且符合社会利益的行为，这是应对不确定性环境的有效手段，也是实现人机和谐共处的关键。