博主头像

AI智能体设计模式:ReAct、CodeAct及其他 | 斯坦福大学CS329Z第6讲(主讲人Mic

外来客 • 2026-11-17 23:49:18

分享
𝕏 f ◉
声明:本文为对公开内容的摘要整理, 未经本站独立核实,可能与原内容存在出入,不代表本站立场、观点或建议; 观点与版权归原作者及原平台所有。 如涉及版权问题,请联系我们,核实后立即删除。 [ 免责声明 ]

(原标题:AI Agent Design Patterns: ReAct, CodeAct & More | Stanford CS329Z Lecture 6 with Michael Ryan)

🎯 智能体架构核心逻辑与模式演进

  • 智能体设计模式源于软件工程领域,旨在构建可扩展且易于理解的系统结构。在实际应用中,必须根据具体环境进行定制化适配,避免过度依赖固定的模板化方案,以确保系统的灵活性与鲁棒性。
  • 工作流(Workflow)与控制流由程序代码严格决定,具备高度的可预测性和稳定性;而智能体(Agent)的控制流则由大语言模型负责,展现出高适应性与灵活性,但随之而来的是评估与优化难度的显著增加。
  • 现代智能体设计正从单纯的实时推理转向代码生成与并行工作流编排。主流趋势是将大语言模型作为程序的一部分进行调用,通过预生成的有向无环图实现并行执行与动态重规划,从而在降低延迟的同时提升整体准确率。
  • 上下文工程遵循两大核心原则:一是保持焦点以消除冗余信息,二是保留连续性以维持系统目标、约束及键值缓存的有效性。这种平衡机制对于避免推理性能下降至关重要,是构建高效智能体系统的基石。

📊 五大基础设计模式与组合策略

  • 提示链(Prompt Chaining)通过线性步骤分解复杂任务,确保每一步的输出作为下一步的输入,适用于逻辑严密且顺序固定的场景。
  • 路由(Routing)根据输入特征将任务分发至不同的处理路径或模型,实现资源的优化配置与专业化处理。
  • 并行化(Parallelization)允许多个子任务同时执行,显著缩短整体响应时间,特别适用于可分解的独立子问题。
  • 编排者-工作者(Orchestrator-Workers)模式中,中央智能体动态决定视角数量并分配任务给工作智能体,实现了灵活的任务拆解与资源调度。
  • 评估器-优化器(Evaluator-Optimizer)通过循环机制生成、评估并改进输出,利用反馈闭环持续提升结果质量,适用于对精度要求较高的迭代任务。
  • 实际生产级系统往往是上述基础设计模式的复杂组合,而非单一模式的应用。例如,STORM案例研究展示了如何结合编排者-工作者动态决定视角数量,利用评估器-优化器循环丰富上下文,并通过提示链从主题到大纲再到正文生成内容,整体架构基于预编程的分支实现并行化。

🧠 多智能体系统权衡与性能边界

  • 多智能体系统通常伴随着更高的计算成本,但在准确性上往往表现更优。系统设计者需根据成本与精度的帕累托曲线进行定义和比较,寻找最佳平衡点。
  • 引入多视角并行处理能显著提升生成内容的多样性与质量,优于直接生成的简单工作流。STORM系统在兴趣度、组织性、相关性及覆盖度上均优于直接生成及Oracle RAG基线,且相似度更高。
  • Archon框架作为一种推理时技术架构搜索框架,输入包括目标基准、预算及可用大语言模型集合。其核心组件包含生成器、融合器、批评者、排序器、验证器及单元测试生成器。
  • 在数学任务示例中,架构搜索发现的最优流程为从GPT-40、Llama 3.1等模型生成20个样本,经Claude批判与重排后分组融合,最后由GPT-40验证并输出单一结果。当Token预算充足时,这种自动发现的复杂架构在数学推理上可超越当时的前沿模型如o1。

🔄 ReAct模式演进与微调机制

  • ReAct定义结合了思维链(Chain of Thought)与行动(Action),通过“思考-搜索-再思考”的循环解决任务。相比单纯提示或仅执行动作,ReAct在复杂推理任务中表现出显著优势。
  • 原始研究发现存在规模效应悖论:随着模型参数扩大至540B,直接依赖参数化知识优于ReAct提示;但经微调后,模型在推理与行动任务上表现显著提升。
  • 当前主流实践倾向于对模型进行代理式(Agentic)后训练,使其内化“先推理后行动”的能力。这种微调机制使得模型能够更自然地处理复杂的多步骤任务,减少对外部脚手架的依赖。

📝 反思机制与外部验证策略

  • Reflection架构由Actor LLM执行任务生成轨迹,Evaluator LLM评估结果,Self-reflection LLM将经验存入长期记忆以优化后续决策。这种闭环反馈机制有助于智能体从错误中学习并改进。
  • 纯自我反思在GSM8K等测试中往往降低模型准确率,表明内部验证存在局限性。引入单元测试等外部环境反馈或工具调用能显著提升验证效果,确保输出的正确性。
  • CodeAct主张代码是更好的行动载体,通过生成Python程序调用API处理循环与逻辑判断。相比JSON/文本形式的ReAct,CodeAct更高效且具备更强的执行能力,适用于所有测试模型。

🛠️ 上下文管理策略与工程实践

  • 基于LangChain博客提出的分类体系包含四种核心模式:写入(Write)、选择(Select)、压缩(Compress)和隔离(Isolate)。这些模式共同构成了上下文管理的完整框架。
  • 具体实现中,压缩对应观察掩码与合并;隔离涉及渐进式披露及子智能体分发;写入与选择关联检索与记忆机制。实际系统需组合多种模式,核心目标是保持上下文聚焦并维持对话连续性。
  • ReWoo机制在“无观察推理”中预先规划工具调用顺序并指定数据流向,无需大语言模型实时介入中间步骤,从而减少Token消耗。OpenHands事件日志采用持久化事件流记录所有动作与观察,每次调用时动态重建输入,支持外部钩子监控及上下文隔离。
  • 观察掩码(Observation Masking)相比复杂的摘要压缩更简单且高效,直接截断或删除早期观察数据特别适用于代码任务中由大文档引发的上下文膨胀。渐进式披露通过技能文件按需加载特定领域知识或工具说明,避免将所有能力常驻上下文窗口,仅保留名称索引以支持长期记忆。

⚖️ 极简框架特性与模型适配权衡

  • Pi极简框架主张“适配工作流而非反向适配”,作为可构建扩展的极简基础,默认仅启用Read、Bash、Edit、Write四种工具。其运行机制采用ReAct循环,但通过Bash编写脚本实现类似CodeAct的功能;上下文以树状事件日志管理,支持回滚与分支。
  • Pi框架存在安全缺失,无权限检查、计划模式或后台任务功能,运行权限等同于宿主进程且无弹窗确认,始终处于自动模式。这种设计牺牲了部分安全性以换取极致的执行效率。
  • 性能归因分析表明,Pi的高效源于底层大模型能力的提升,使得复杂的外部脚手架变得非必要。最佳模型需极简框架以发挥潜力,而较弱模型则依赖更完善的框架进行补偿;用户可根据成本需求选择开源模型搭配优化框架,实现资源与效果的最优配置。

博主头像 👤 同一博主

查看该博主全部 53 篇

🧭 类似博主

0 条评论

发表评论

请先 登录 后参与讨论。