AI记忆、RAG与提示注入解析 | 斯坦福大学CS193T课程第3讲（Cynthia Bailey）

外来客 • 2026-11-12 18:38:10

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

（原标题：AI Memory, RAG & Prompt Injection Explained | Stanford CS193T Lecture 3 with Cynthia Bailey）

本视频深入解析了大语言模型（LLM）的上下文窗口机制、检索增强生成（RAG）原理及技能存储功能，重点阐述了系统提示词与用户输入在 Token 层面的同质性、RAG 带来的信任偏差风险以及提示注入的安全隐患，并提出了基于“战略保留”和权限管理的最佳实践建议。

系统提示词的底层逻辑：系统提示词位于用户输入之上，包含厂商预设的规则（如 Claude 限制格式化、避免过度热情），直接决定模型的风格基线。在技术本质层面，LLM 的系统提示词、用户输入及网页文档均为连续的 Token 流，不存在类似操作系统内核的隔离沙箱或特权边界，导致模型难以绝对区分指令来源。
显式偏好设置：ChatGPT 和 Claude 允许用户在设置中注入自定义指令（如减少 Emoji 使用、降低谄媚感）。这些内容作为系统提示词的一部分生效，用于微调模型的输出行为以符合用户习惯。
自动记忆提取机制：部分平台工具会从历史对话中提取个人信息（如居住地、职业等）并自动注入新会话的上下文窗口。虽然这提升了个性化体验，但部分平台支持查看或关闭此功能，以保护隐私或避免信息干扰。
战略保留策略：主动排除特定背景信息可消除模型对用户的谄媚偏差（Sycophancy），从而获取更客观的评价。这一策略有助于验证文档的独立完整性及保持头脑风暴的多样性，建议在需要中立反馈时切断历史记忆关联。

检索增强生成原理：当源材料超出上下文窗口限制时，RAG 通过搜索文档库仅将相关片段注入上下文，以解决“中间迷失”问题。RAG 特指用户上传并完全控制的数据存储，区别于用于突破模型训练时间截止点（Time Horizon）的联网搜索。
信任偏差风险模式：模型通常更依赖 RAG 数据而非训练数据，导致两种典型的失败模式：
适应性变色龙 (Adaptive Chameleon)：盲目接受 RAG 中的错误信息，即使这些信息与常识或训练数据冲突。
固执树懒 (Stubborn Sloth)：拒绝用户提供的正确 RAG 事实，固守训练数据中的旧知识，导致无法更新认知。
隐私边界与数据使用：模型权重在发布后冻结，但聊天历史可能被用于未来模型的训练。例如，斯坦福大学协议要求合作厂商禁止使用学生数据进行训练，以确立严格的隐私边界。

可复用技能机制：Claude 的 "Skills" 和 Gemini 的 "Gems" 允许用户保存复杂的“工作范围”提示词或特定任务配置，实现一键调用。这些机制仅作为上下文窗口中的额外内容运行，功能介于系统提示词与用户提示词之间，并不修改模型底层权重。
平台差异与迁移：OpenAI 正在关闭 Custom GPTs 功能；Gemini 提供从 ChatGPT 迁移记忆的脚本化提示词，该提示词被视为结构化输出的优秀范例，展示了跨平台数据迁移的技术路径。
应用实例价值：斯坦福大学发布了用于规范其视觉识别系统（如 Logo 使用规则）的 Claude Skill，展示了高精度指令存储的应用价值，证明了技能机制在复杂任务标准化中的有效性。

Token 计费逻辑：API 费用主要基于输出 Token（含思维链推理）。虽然输入 Token 不直接按量计费，但庞大的上下文会显著增加思维链长度，从而间接推高成本。用户需权衡上下文大小与推理深度对费用的影响。
RAG 与联网搜索区别：RAG 侧重于处理用户上传的私有数据，而联网搜索用于获取最新事件信息以突破训练数据的时间局限。然而，联网搜索引入了外部不可信数据风险，增加了提示注入的可能性。
防御机制局限：虽然通过微调可让模型识别恶意提示注入，但由于架构特性（Token 同质性），该风险无法彻底消除。尤其在 Agentic AI 具备邮件或文件操作权限时，外部注入指令可能触发不可逆的现实世界危害。

安全实践指南：使用来源不明的 Gems/Skills 时需警惕其请求的文件或邮件访问权限。上传文档前应检查是否包含白色字体等隐蔽的注入指令，以防止恶意代码或指令劫持模型行为。
应用策略优化：在需要客观反馈（如简历评估）时，应通过新建临时会话或新账号切断历史记忆关联，并刻意隐瞒用户身份以获取中立建议。这种“战略保留”能有效降低模型的谄媚偏差。
未来趋势展望：随着 Agentic AI 的发展，重点应从文本生成转向对连接器权限的审慎管理。防止外部注入指令触发不可逆的现实操作成为核心安全挑战，需建立更严格的权限隔离机制。