博主头像

DeepSeek 开源推理引擎DeepInfer | 推理框架开源 | 推理引擎 | V4.1 Fl

外来客 • 2026-10-25 20:12:57

分享
𝕏 f ◉
声明：本文为对公开内容的摘要整理， 未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议； 观点与版权归原作者及原平台所有。 如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

🚀 DeepInfer 开源架构与核心组件

  • 框架定位：DeepSeek 于 10 月 20 日开源推理框架 DeepInfer 及配套组件 Recipe，旨在公开模型背后的“发动机”图纸，而非发布新模型。
  • PD 分离设计：系统将预填充（Prefill）与解码（Decode）阶段拆分至不同机器运行。预填充侧重算力，处理数万 Token；解码侧重显存读取，逐 Token 生成。
  • 硬件支持：采用 Apache 2.0 协议，目前仅支持英伟达 SM100 和华为昇腾 950 环境，要求 Linux、Python 3.12 及 GCC 13 以上版本。
  • Recipe 组件：使用 Rust 编写并提供 Python 绑定，负责将 OpenAI Chat Completions、Responses 及 Anthropic Messages 三种主流 API 格式统一转换为内部对话格式，解决跨平台兼容性问题。

⚡ 极致优化技术细节

  • KV 缓存策略：利用分布式文件系统 3FS 构建独立存储集群，容量约 100PB。Agent 流量缓存保留 3 天，聊天流量保留 7 天，远超行业通常的 5 分钟至 24 小时标准。
  • SWA 重放机制：针对滑动窗口注意力（SWA）未命中情况，采用“SWA Bondi's Replay”技术，仅重新计算最后 128 个 Token，使预填充总计算量减少近一半。
  • 投机解码优化：自研 Dispark 算法动态调整验证预算，相比固定核对 5 个草稿，每步检查数量减少约 30%，线上实测吞吐量提升 6%。
  • 零开销调度：通过 CUDA Stream 和 Event 将 CPU 状态更新工作隐藏在 GPU 计算时间内，实现异步流水线处理，避免连续生成时的等待延迟。

💰 商业逻辑与单位经济

  • 成本收益数据：基于日均 155 万亿 Token 的集群规模，平均每卡每小时收入约 38 美元，单卡月收入约 2.7 万美元。
  • 盈利目标：梁文峰表示 API 定价旨在实现合理利润，预计设备投入在 10 个月内收回成本，不追求利润最大化但需确保公司生存。
  • 竞争策略：通过开源引擎和 Recipe 抢占入口与格式标准。Search 和 Fetch 服务（前 1000 次请求免费）作为默认工具入口，形成“入口数据-模型优化”飞轮；Recipe 使第三方服务器行为对齐官方逻辑，确立事实上的通用写法。

📉 落地限制与行业影响

  • 部署门槛：推荐起步规模为 64 卡预填充加 64 卡解码，且需自行对接存储、网络及故障切换设施，并非下载即可直接用于生产环境。
  • 硬件依赖：当前支持列表排除了 H100、A100 等旧款显卡，对硬件配置有较高要求。
  • 生态反馈：vLLM 官方致谢 DeepSeek 回馈社区；博主测算显示在 GB200 NVL72 极限压榨下，算力年收入潜力巨大，但实际利润率受存储、运维及缓存命中率影响需打折看待。

博主头像 👤 同一博主

查看该博主全部 160 篇

🧭 类似博主

0 条评论

发表评论

请先 登录 后参与讨论。