博主头像

从香农的一个比特到ChatGPT：大模型到底是怎么工作的

外来客 • 2026-11-03 11:58:38

分享
𝕏 f ◉
声明：本文为对公开内容的摘要整理， 未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议； 观点与版权归原作者及原平台所有。 如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

📊 核心观点

  • 大语言模型的本质是量化并降低“意外”程度，即通过统计概率预测下一个 Token 的分布。
  • 信息量（比特）与事件发生的罕见度成正比，越少见的事件携带的信息越多。
  • 现代 LLM 摒弃了香农早期的查表法，转而使用向量空间表示，使模型能处理未见过的句子并捕捉长距离依赖关系。

🔢 关键事实/论据

  • 信息量化：1948 年香农提出比特概念；公平硬币抛掷结果为 1 比特，8 种可能性中选中其一为 3 比特。
  • 中文统计：《西游记》全书使用 4361 个不同汉字；若均匀分布需 12.1 比特/字，按真实频率计算平均仅 9.5 比特/字。
  • 模型对比：阿里开源千问 3 0.6B 基础版对“一只猫”的意外值高达 11.2 比特，而对常见词组几乎无波动。
  • 压缩效率：利用语言模型可将文本压缩至理论极限（如某句中文从 123 字节降至 26.4 字节），但需额外存储约 1.2GB 的模型文件。
  • 架构演进：2017 年谷歌研究员提出 Transformer，其注意力机制允许 Token 回顾前文；千问小模型最多可回溯 3 万多个 Token。
  • 训练规模：千问 3 这一代模型在训练阶段读取了 36 万亿个 Token。

💡 结论

  • 语言模型通过调整内部数以亿计的参数，最小化预测下一个 Token 时的平均意外值。
  • “温度”参数控制生成随机性：低温贴近最可能结果，高温则增加罕见词出现概率。
  • 关于模型是否真正理解语义存在争议：本德和科勒认为纯形式训练无法习得意义，而苏茨克维尔认为精准预测即代表对现实的理解。

博主头像 👤 同一博主

查看该博主全部 24 篇

🧭 类似博主

0 条评论

发表评论

请先 登录 后参与讨论。