AI Agent 如何使用工具：函数调用与 MCP | 斯坦福大学 CS329Z 第4讲（Diyi

（原标题：How AI Agents Use Tools: Function Calling & MCP | Stanford CS329Z Lecture 4 with Diyi Yang）

🧠 RAG 局限与失效模式

• 中间迷失现象：大语言模型在处理长序列时存在显著的位置偏差，对位于序列首部和尾部的信息利用率较高，而当关键文档或事实位于中部时，检索增强生成（RAG）系统的性能会出现断崖式下跌。在极端情况下，这种“Lost in the Middle”效应导致模型的准确率甚至低于未使用任何外部检索的闭卷问答水平，表明单纯增加上下文窗口长度并不能线性提升信息提取能力。
• 引用幻觉与学术影响：RAG 系统在生成参考文献时存在严重的精度缺失问题，部分实验显示其引用精确率仅维持在 75% 左右。这种低精度的引用直接导致了在 NeurIPS、ICLR 等顶级学术会议中大量出现虚构的参考文献案例。为了应对这一危机，学术界开始引入基于幻觉引用的桌面拒稿机制，即一旦检测到论文中存在无法验证或虚构的文献来源，将直接在初审阶段予以拒绝，这标志着对 AI 辅助写作可信度的审查标准正在发生根本性转变。
• 长上下文检索瓶颈：尽管现代大模型宣称支持 128k 至 200k token 的超长上下文窗口，但在“大海捞针”（Needle in a Haystack）测试中，随着文档长度的增加，模型对中部事实的检索准确率显著降低。以 GPT-4 为例，当上下文长度达到 73k tokens 时，其性能出现明显的退化现象。这表明当前的注意力机制在处理超长序列时仍存在计算效率与信息保持之间的权衡难题，长窗口支持更多是理论上的容量扩展，而非实际应用中稳定的信息检索保障。

🛠️ 工具使用必要性

• 模型固有逻辑缺陷：大语言模型在涉及多步逻辑推理、复杂数学运算（如多位数乘法 999×867）以及动态规划任务时表现出不稳定性。随着推理步骤的增加，错误率呈累积效应上升，导致最终结果的准确率显著下降。这种内在的逻辑脆弱性使得模型难以独立处理需要严格因果链条或精确数值计算的复杂问题，从而凸显了引入外部计算工具以弥补逻辑短板的必要性。
• 知识边界与时效性限制：模型的训练数据存在固定的截止日期，使其无法获取训练截止后发生的事件、私有领域数据或实时状态信息（如当前天气、实时股价、最新新闻）。这种静态知识库的限制使得模型在面对动态变化的世界时显得滞后且不准确。依赖外部接口获取最新信息成为解决这一瓶颈的唯一途径，确保 AI 系统能够提供具有时效性和准确性的回答。
• 非语言交互需求：纯文本生成无法覆盖人类智能体的全部功能需求。为了突破这一局限，AI Agent 必须通过工具调用与 API、数据库、浏览器以及物理世界设备（如机器人、智能家居）进行交互。这种非语言交互能力使得 AI 能够执行具体动作、修改外部状态并获取多模态反馈，从而从被动的信息提供者转变为主动的任务执行者，实现真正的智能体闭环。

⚙️ 工具定义与实现机制

• 核心定义与职责分离：在当前的技术架构中，工具被定义为独立于大语言模型的外部程序函数接口。模型的核心职责仅限于生成包含工具名称和相应参数的文本字符串（即 Function Call），而具体的执行逻辑、数据处理及结果返回均由外部系统完成。这种职责分离确保了模型可以专注于语义理解和意图识别，而将复杂的计算和执行任务交给专门优化的软件模块处理。
• 应用范围与多样性：工具调用的应用场景极为广泛，涵盖知识检索以补充事实信息、数学计算以确保数值精度、实时数据获取（如查询天气或日历）、多模态内容生成（如图像合成）以及调用既有的专业模型（如机器翻译引擎）。这种模块化设计允许开发者根据具体任务需求灵活组合不同的工具，构建出功能强大的复合智能系统。
• 风险与挑战：尽管工具调用提升了能力上限，但也引入了新的风险点。模型可能会幻觉出不存在的工具参数或接口名称，导致类型检查失败和程序崩溃。此外，动态生成的新工具面临更高的幻觉与安全风险，因为缺乏预定义的约束和规范。如何确保模型生成的调用指令严格符合外部接口的规范，同时防止恶意或错误的执行，是工程实现中的关键挑战。

🧠 Toolformer 核心机制

• 训练目标与自主决策：Toolformer 的核心目标是教会模型自主决定何时需要调用工具、选择何种 API、生成正确的参数以及整合返回的结果。这一过程旨在赋予模型元认知能力，使其能够评估自身知识的局限性并主动寻求外部辅助，从而在保持推理连贯性的同时提升任务完成的质量。
• 位置确定与数据筛选：Toolformer 通过概率计算确定插入 API 调用的“魔法位置”，即在生成序列中判断最合适的工具调用时机。在执行候选 API 后，系统利用加权交叉熵损失函数对比基线（无调用或无输出），仅保留那些能显著降低损失值超过特定阈值的调用作为训练数据。这种筛选机制确保了模型只学习真正有效且必要的工具使用行为，避免了噪声数据的干扰。
• 性能表现与效率优势：基于 GPT-J 架构的 Toolformer 在事实核查、数学推理等任务上超越了参数量更大的 GPT-3 模型。这一结果有力地证明了小模型结合高效工具调用机制可以显著提升整体能力，打破了“规模即智能”的传统认知，为资源受限场景下的智能系统构建提供了新的范式。

🔄 TokenGPT 与多跳挑战

• Token 化集成思路：TokenGPT 提出将工具视为特殊的 Token 嵌入到生成过程中。当模型生成特定的触发 Token 时，会暂停文本生成流程，执行外部计算或检索操作，随后恢复推理并继续生成后续内容。这种无缝集成的方式使得工具调用成为语言生成过程的自然组成部分，而非独立的后处理步骤。
• 多跳任务性能瓶颈：实验数据显示，虽然单步工具调用的准确率较高（约 0.5–0.7），但在涉及多个连续步骤的多跳序列任务中，模型的表现极差，成功率仅降至 0.03–0.09。这种巨大的性能落差揭示了当前模型在处理长链条依赖关系时的严重不足，表明简单的单步优化无法解决复杂工作流的稳定性问题。
• 原因分析与数据缺失：多步操作导致搜索空间呈指数级增长，使得模型难以在每一步都做出全局最优决策。此外，真实世界中缺乏高质量的多步工具使用标注数据，导致模型无法通过监督学习充分掌握复杂的交互逻辑。这种数据稀缺性是多跳任务表现不佳的根本原因之一，亟需合成数据生成或强化学习策略来弥补。

📈 规模化与抗幻觉策略

• ToolBench 合成数据构建：ToolBench（2LMs）利用大语言模型模拟用户查询并自动生成解决轨迹，构建了包含超过 16,000 个 API 的合成数据集。通过监督微调（SFT），使 Llama 等小模型掌握大规模工具调用能力。这种自动化数据生成方法有效解决了真实标注数据昂贵且稀缺的问题，为模型的规模化训练提供了坚实基础。
• Gorilla 检索感知训练：针对 Hugging Face、PyTorch Hub 等平台上的 1.6k API，Gorilla 系统采用“检索感知训练”策略。在指令微调过程中，同时引入正确与错误的文档检索结果，迫使模型学会辨别有效信息并忽略噪声。这种对抗性训练显著减少了参数幻觉，提高了模型在复杂 API 环境下的鲁棒性和准确性。
• 结构化评估方法：传统的字符串匹配评估方法难以准确量化工具调用的质量。因此，新的评估体系摒弃了严格的字符比对，转而将生成的 API 调用转化为抽象语法树（AST）进行结构化比对。这种方法能够更准确地捕捉语义等价性，忽略格式差异，从而提供更客观、可靠的调用质量指标。

🧠 核心观点

• 范式转移：从适配模型到标准化接口：工具使用范式正经历从“训练模型适配特定工具”向“标准化接口适配任意模型”的根本转变。这一变化旨在解决新 API 频繁出现导致的重训练成本高昂问题，通过建立通用的交互协议，实现工具生态与模型能力的解耦，降低系统集成的复杂度和维护成本。
• 评估指标升级：从单次成功到一致性：随着应用场景向多轮交互和复杂工作流扩展，评估指标需从单次成功率（pass@k）升级为多次一致性成功率（pass^k）。这一转变强调系统在重复尝试中的稳定性和可靠性，而非仅仅关注某一次偶然成功的概率，更符合实际生产环境对 AI 系统鲁棒性的要求。

📊 关键事实与论据

• 接口演进历程：工具接口的技术形态经历了从 REST API 到 Function Calling 再到 MCP 的演进。REST API 面向人类开发者，依赖 URL 和参数；Function Calling 采用 JSON Schema，模型直接输出工具名及参数；MCP（Model Context Protocol）作为生态层协议，实现了标准化的工具发现（tools/list）与调用（tools/call），标志着工具交互进入协议化时代。
• MCP 架构设计：MCP 架构将系统分为 Host（应用）、Server（工具提供者）与 Client（连接对象）。Host 无需了解底层数据格式，仅通过 MCP 协议通信；支持细粒度权限控制，隔离 Agent Token 与 API Token。这种分层设计增强了安全性并简化了集成流程，使得不同厂商的工具和模型能够无缝协作。
• 评估基准对比：Berkeley Function Call Leaderboard 利用 AST 匹配量化幻觉水平；ToolBench 使用合成数据验证规模化能力；TopBench 引入用户-Agent 交互场景（如航班变更处理），其 pass^k 指标显著低于 pass@k，凸显了多轮一致性挑战。这些基准共同构成了评估工具调用系统综合能力的多维框架。

🎯 结论

• MCP 的解耦价值：MCP 通过统一协议实现了工具与模型的深度解耦，使任意 AI 应用可复用同一套工具服务器。这一机制消除了针对每个新 API 重新训练模型或重写 Schema 的需求，极大地降低了开发门槛并加速了生态繁荣，为构建开放、互操作的智能体基础设施奠定了基石。
• 稳定性优先的评估导向：在复杂多步任务中，系统稳定性比单次成功更重要。因此，未来的评估体系必须关注多次尝试下的全成功率（pass^k），而非仅依赖单次命中。这一导向将推动研发重点从提升峰值性能转向增强系统的鲁棒性、一致性和长期可靠性，以应对真实世界中复杂多变的应用场景。