斯坦福大学CME295课程：Transformer与大语言模型（2026年秋季）第2讲——大语言模型

（原标题：Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models）

🧠 Transformer架构演进与LLM核心定义

• 编码器变体（BERT）：2018年提出的BERT仅保留Transformer的编码器部分，利用自注意力机制实现双向上下文理解。该架构引入CLS token专门用于分类任务，并采用掩码语言模型（MLM）和下一句预测（NSP）作为预训练策略，随后针对特定下游任务进行微调，奠定了自然语言理解的基础范式。
• 解码器变体（GPT）：同期出现的GPT系列仅保留解码器部分，将各类NLP任务统一为“文本到文本”的自回归生成问题。相比编码器-解码器架构，其因果注意力机制结构更简洁且通用性更强，无需专门处理输入编码，因此成为当前大语言模型（LLM）的主流范式。
• LLM核心定义：大语言模型指参数量达数十亿至万亿级、依赖海量计算资源且训练数据量巨大的模型。其骨干网络由因果多头自注意力层和前馈神经网络组成，移除了原始解码器中的交叉注意力组件，专注于序列生成的连续性与逻辑性。

📊 规模化定律与计算优化策略

• 性能提升规律：2020年的研究表明，模型性能随训练Token数量、参数量和计算量的增加而显著提升。更大规模的模型表现出更高的Token效率，即达到同等性能水平所需的训练数据量相对更少，体现了规模效应带来的边际收益递减但绝对值增长的特性。
• 计算最优分配：2022年的研究指出存在模型规模与训练数据量的最佳平衡点。当时许多大模型处于“欠训练”状态，即参数过多但数据不足。实验显示，在相同计算预算下，较小模型若配合更多Token训练（如1.4万亿Token），其性能可优于较大模型，强调了数据量对模型收敛的重要性。
• 经验法则与术语区分：建议保持约20个Token对应1个参数的比例以实现计算最优分配。此外，需严格区分“FLOPs”（总浮点运算量，衡量任务规模）与“FLOPS”（硬件每秒运算速度，衡量算力上限），这是评估模型训练成本的关键指标。

🧩 混合专家机制（MoE）原理

• 稀疏激活策略：为解决大模型推理成本高企的问题，引入混合专家架构。通过路由器（Gate）根据输入动态选择部分专家网络进行计算，而非激活所有参数，从而在保持模型容量的同时降低单次前向传播的计算开销。
• 稀疏MoE优势：区别于激活全部专家的稠密MoE，稀疏MoE仅选取Top-K个相关专家参与运算。输出为所选专家结果的加权求和，这种机制允许模型总参数量扩展至万亿级别，而实际计算量仅与激活的少数专家相关，实现了容量与效率的解耦。

🧠 MoE架构细节与路由机制

• 专家定位：混合专家模块通常置于前馈神经网络层，而非注意力层。这是因为FFN层承载了模型的主要计算量且负责生成有意义的嵌入表示，在此处引入稀疏性对整体性能影响最小且收益最大。
• 路由逻辑与挑战：路由器在Token级别决定激活哪个专家，通过反向传播学习路由策略。然而，需引入负载均衡辅助损失以防止“路由坍塌”，即避免模型过度依赖少数专家导致有效参数量减小和泛化能力下降。
• 技术演进现状：现代MoE LLM采用共享专家机制确保基础计算的稳定性，并将专家总数提升至数百个（如384、256），每次前向传播仅激活约8个专家。前沿开源模型的总参数量可达数千亿甚至万亿级别，展示了稀疏架构在超大规模模型中的可行性。

📐 位置编码原理与演进

• 原始方案局限：Transformer最初使用可学习的位置嵌入或正弦/余弦公式，将位置信息直接加到Token嵌入上。此方法难以泛化至训练时未见过的更长序列长度，限制了模型处理长文本的能力。
• 注意力层特异性：位置信息主要影响注意力层的Token交互，前馈网络无需感知绝对位置。因此，现代架构倾向于在注意力层内部进行“外科手术式”的位置编码处理，以提高模块的独立性和可替换性。
• RoPE机制优势：旋转位置嵌入（RoPE）通过旋转Query和Key向量来编码相对位置。基于三角函数性质，点积结果仅取决于位置差 $n-m$，使得近距离Token相似度更高。该方法无需学习参数即可泛化至任意序列长度，成为当前主流标准。

🧠 Transformer架构优化技术

• 局部注意力机制：采用滑动窗口机制限制交互范围，通过多层堆叠扩大有效感受野，类似CNN的卷积原理。这种设计降低了长序列注意力的计算复杂度，从二次方降至线性或近线性水平。
• GQA技术：为节省解码时的KV缓存内存，Group Query Attention（GQA）在多个注意力头间共享Key和Value投影矩阵，取代原始多头独立参数方案。这在保持模型性能的同时显著降低了显存占用，提升了推理吞吐量。
• 归一化改进：由Post-norm转为Pre-norm以优化梯度流动，提升深层网络的训练稳定性。同时采用RMS Norm替代Layer Norm，仅进行重缩放而无需重新中心化，进一步简化了计算过程并提高了收敛速度。

📊 解码策略与确定性控制

• 采样机制调节：通过Temperature参数调节概率分布平滑度（T>1更平坦，T<1更尖锐），结合Top-K或Top-P筛选候选词以平衡多样性与质量。合理的采样策略是生成自然且连贯文本的关键。
• 非确定性根源分析：即使Temperature为0，浮点数加法非结合性及推理引擎的批处理顺序差异仍会导致输出不可完全复现。这种底层硬件和算法层面的微小差异累积，使得严格意义上的确定性解码在分布式系统中难以实现。
• 引导解码应用：在生成JSON等结构化数据时，限制下一步可用Token范围以符合语法规范，确保100%解析成功率。这种方法通过约束搜索空间，消除了格式错误风险，适用于对输出结构有严格要求的场景。

📝 上下文管理与提示工程

• 上下文窗口限制：输入通常支持约100万Token（输出约10万），受限于计算成本及“Context Rot”现象。长文本中关键信息检索难度增加，导致模型注意力分散，因此有效管理上下文长度至关重要。
• In-context Learning局限：通过提供示例或指令引导模型行为，但易导致过拟合特定格式而非真正理解任务逻辑。Chain of Thought技术通过展示推理路径提升复杂任务表现，弥补了直接映射的不足。
• Self-consistency策略：生成多条推理路径并投票，作为离线优化手段以提高答案可靠性。这种方法利用统计规律抵消单次生成的随机误差，特别适用于需要高准确率的逻辑或数学任务。

🧠 核心观点与多数投票机制

• 稳定性提升原理：多数投票机制（majority voting）能够显著提升特定任务（如算术推理）的输出稳定性。通过聚合多次生成的结果，筛选出更多生成样本一致认同的答案，从而降低单次生成的随机性风险。
• 一致性筛选逻辑：该方法依赖于统计多次生成中“更多生成样本达成一致”的答案作为最终结果。这种基于共识的决策机制有效过滤了离群值，提高了模型在高风险场景下的可信度。
• 课程关联意义：该策略是理解后续“推理模型”相关课程内容的重要基础。它确立了从基础生成稳定性向复杂推理能力过渡的技术路径，为探索更高级的认知模拟提供了方法论支持。

📊 关键事实与论据支撑

• 算术领域应用：在算术等对精确度要求较高的场景中，多数投票使最终输出结果更加稳定可靠。实验数据表明，随着采样次数增加，正确答案的命中率呈上升趋势，直至达到饱和点。
• 统计一致性依赖：该方法的有效性依赖于生成样本间的一致性分布。如果模型本身存在系统性偏差，投票机制可能强化错误而非纠正它，因此需结合其他验证手段使用。
• 教学脉络确立：讲师明确指出将在后续关于推理模型的讲座中深入探讨此类机制及其在大型语言模型中的应用逻辑，强调了从概率采样到确定性推理的技术演进方向。

📝 结论与未来展望

• 技术有效性确认：多数投票是一种有效增强大语言模型输出确定性的技术手段，特别适用于需要高一致性的算术或逻辑任务。它通过牺牲计算资源换取结果可靠性，是工程实践中常用的权衡策略。
• 教学过渡意义：该片段作为课程第二讲的结尾，确立了从基础生成稳定性向复杂推理模型过渡的教学脉络。它不仅总结了当前LLM架构的核心优化点，还为后续深入探讨推理机制奠定了理论基础。
• 综合评估：结合Transformer架构演进、规模化定律、MoE稀疏化及位置编码创新，现代LLM已在效率与性能间取得平衡。未来的发展将聚焦于更高效的推理算法和更强的长上下文处理能力，以应对日益复杂的现实世界任务需求。