斯坦福大学CME 295课程：Transformer与大语言模型 | 2026年秋季学期 | 第3讲

（原标题：Stanford CME 295 Transformers & LLMs | Fall 2026 | Lecture 3 - LLM training）

🎓 大模型训练全流程架构解析

• LLM开发遵循从预训练、中期训练到监督微调及强化学习的标准化路径，旨在通过掌握通用语言规律后实现特定任务对齐，取代传统单一用例模型的开发模式。
• 预训练阶段采用Teacher Forcing策略进行并行化下一词元预测，虽然存在训练与推理分布不匹配的问题，但可通过后续阶段的针对性优化加以解决。
• 长上下文能力的构建需专门训练以克服RoPE位置编码在短序列训练中未覆盖的频率范围限制，通常通过插值RoPE频率并实施课程学习来逐步扩展序列长度。
• 完整流程包含预训练、Mid-training（注入领域知识）及长上下文训练，最终通过SFT实现实用化交互，模型知识受限于训练截止日期，需额外技术处理时效性问题。

📊 预训练数据规模与优化策略

• Chinchilla论文指出每参数需约20个词元训练以避免欠拟合，而MoE架构通过激活特定专家来优化计算效率，平衡模型容量与推理成本。
• 现代大模型的预训练数据规模已达数万亿词元级别，例如GLM-5使用了30万亿词元，涵盖多语言文本、代码及科学内容，并支持重复训练至4次以提升性能上限。
• 损失函数通常采用交叉熵或Bits Per Byte (BPB)以消除分词器差异带来的影响，确保不同架构间评估指标的可比性。
• 在数据清洗方面，基于Common Crawl等公开数据集，通过启发式过滤去除AI生成内容，仅保留约1%的高质量数据用于核心语言结构、代码及推理知识的学习。

🛠️ 监督微调与低秩适应技术

• SFT机制区别于预训练的纯语料预测，它以指令为输入，仅对目标答案部分计算交叉熵损失，不惩罚提示词部分的预测，从而将模型从自动补全转变为助手式问答模式。
• SFT数据集规模远小于预训练集，特定任务仅需数千至百万级样本，且需严格控制数据分布以避免模型行为偏差或过拟合。
• LoRA（低秩适应）通过冻结预训练权重 $W_0$ 并仅更新低秩矩阵 $A, B$ 来大幅减少可训练参数，实现高效微调，支持多任务场景下复用基础模型仅需存储各任务的增量矩阵。
• 最新实践建议将适配层扩展至前馈神经网络以获取性能增益，SFT阶段聚焦高质量通用助手数据及工具调用推理能力的构建。

🔄 偏好对齐与强化学习机制

• RLHF流程采用成对（Pairwise）偏好数据收集正负样本，相比绝对评分更符合人类判断习惯，用于训练奖励模型；基于Bradley-Terry公式最小化负对数似然损失优化参数。
• 在强化学习阶段，冻结奖励模型权重，仅更新LLM参数以最大化奖励并限制与参考模型的偏差（KL散度），防止“奖励黑客”现象导致行为偏离。
• DPO（直接偏好优化）作为简化方案，将奖励建模与策略更新合并为单一监督式损失函数，属于Off-policy方法，降低了工程实施难度及超参数敏感性。
• GRPO算法利用可验证奖励（Verifiable Rewards），无需独立奖励模型，通过生成多个响应并计算组内相对优势来优化策略，同时约束偏离参考模型的程度。

🧠 推理模型训练与蒸馏策略

• 推理模型指能自主生成思维链以解决数学或代码问题的模型，2024年9月OpenAI率先展示该能力，2025年1月DeepSeek R1发布首个开源权重推理模型。
• On-policy Distillation结合On-policy与密集信号优势，学生模型生成序列后由教师模型对每个Token进行评估并惩罚偏差，有效解决稀疏奖励问题。
• 自蒸馏变体使用同一模型作为教师，通过告知正确答案引导其生成高质量思维链，广泛应用于前沿开源模型的训练过程中。
• 在RL最后阶段实施“on-policy cross-stage distillation”，以SFT后及首个RL阶段的检查点作为教师模型进行训练，确保早期习得的能力未被后续优化过程覆盖或丢失。

📈 中期训练与上下文扩展技术

• Mid-training阶段旨在扩展上下文长度并解决“Context Rot”问题，采用Best-fit Packing策略打包长文档（如PR、书籍），避免截断以注入中间事实增强记忆能力。
• 预训练阶段的上下文长度通常约为4k Token，重点学习语言结构及基础推理知识，为后续长文本处理奠定基础。
• RL阶段分为三部分，重点利用数学竞赛等可验证数据进行Reasoning RL训练，通过`THINK` Token隐藏思维链以降低用户感知成本并保护隐私。
• 通用RL评估维度涵盖基础正确性、情感智能及任务特定质量，允许注入数据策展人的专业观点以动态调整Token出现的概率权重。

🚀 行业现状与Agent能力演进

• 开源权重模型虽提供详细技术论文，但核心“秘密配方”（如特定数据混合比例）往往未完全披露，存在供应商指控其他方通过蒸馏其专有数据进行训练的争议。
• Pi编码代理案例表明，凭借强大的模型内在推理能力，最小化Agent可显著减少对复杂外部Harness工程的依赖。
• 强化学习阶段重点发展模型的推理能力，使其能独立处理更多逻辑任务，从而降低对上下文注入和外部工具调用的需求。
• 基于上述推理数据与训练进展，近期已实现对开放数学问题的求解，标志着模型在复杂逻辑推导领域的重大突破。