AI内存的技术混战 | 伯恩斯坦研究报告 | AI内存 | HBM | CXL | DRAM | N
外来客 • 2026-09-10 19:34:34
声明:本文为对公开内容的摘要整理,
未经本站独立核实,可能与原内容存在出入,不代表本站立场、观点或建议;
观点与版权归原作者及原平台所有。
如涉及版权问题,请联系我们,核实后立即删除。
[ 免责声明 ]
🧠 AI内存瓶颈与负载差异
- 核心观点:AI内存的瓶颈不在训练阶段,而在推理阶段的解码环节。KV缓存随Token数量线性增长且无法共享,导致大规模部署下其占用量可能超过模型权重本身,直接决定服务器并发能力与收入天花板。
- 关键事实:预填充阶段为计算绑定,核心指标TTFT理想值在0.5秒内;解码阶段为内存绑定,核心指标TPOT在文字聊天场景需低于50毫秒,实时语音或编程智能体场景需压至10毫秒以内。
- 其他负载:RAG生成阶段依赖大容量SSD与系统DRAM处理非结构化数据;多智能体工作流因状态管控及输出作为下一轮输入的特性,导致内存压力呈层叠式增长。
🏗️ 系统架构层级划分(G0-G4)
- 核心观点:伯恩斯坦报告构建了从G0到G4的完整内存层级框架,旨在明确新技术在系统中的位置与解决的问题。
- 关键事实:
- G1 (HBM):通过CoWoS封装DRAM与加速器,存储模型权重与KV缓存等高频数据。
- G2.5 (CXL):将物理分离的内存整合为逻辑共享池,支持NAND优化以接近DRAM特性(如三星CMM-H)。
- G2.6 (Storage Next):英伟达主导项目,推动内存管理从CPU中心转向GPU中心,使NAND具备接近DRAM的低延迟与细粒度访问能力。
- G3.5 (CMX/STX):专为KV缓存新增层级,部署于数据节点供集群共享,通过Spectrum-X交换芯片实现GPU直接访问存储。
💾 硬件介质与技术演进
- 核心观点:DRAM、NAND与SRAM的边界正在模糊,各厂商通过封装创新与介质混合向中间地带渗透。
- 关键事实:
- HBM变体:三星ZHBM尝试3D堆叠以缩短距离;英伟达NV-HBM将内存控制器移至基底芯片以释放XPU面积并降低功耗;英特尔ZAM通过旋转DRAM芯片90度提升散热效率,预计2029财年实用化。
- NAND创新:闪迪与SK海力士主导的HBF旨在用NAND实现接近HBM的带宽(G1.5层级);凯霞XL Flash采用SLC/MLC颗粒对应Storage Next层级,目标IOPS达千万级。
- 模块形态:SOCAM2由Jedec标准化,支持LPDDR颗粒并将总线宽度翻倍至128位,被英伟达Vera CPU及AMD Virano CPU采用。
📊 行业评级与财务预测
- 核心观点:伯恩斯坦分析师对全球主要存储公司给出最新评级,反映了对AI内存技术混战下各厂商竞争力的判断。
- 关键事实(未来12个月预期):
- 跑赢大盘 (Outperform):三星电子(目标价44万韩元)、SK海力士(330万韩元)、美光(1300美元)、闪迪(3000美元)、西数(770美元)。
- 跑输大盘 (Underperform):凯霞(目标价4万日元)。
- 风险提示:以上数据仅为伯恩斯坦预测,供行业研究参考,不构成任何投资建议。
👤 同一博主
3000万开发者买光算力,15亿人进场榨干电力铜矿 | AI算力 | 黄仁勋 | 马斯克 | 英伟
Bill Dally对话TPU之父Norman Jouppi :真正竞争的不是芯片 | AI芯片 |
AI不确定性的数学原理 | 贝叶斯法则 | 机器学习 | 深度学习 | 祖宾·加赫拉马尼 | 谷歌
如何从专有LLM API中窃取推理痕迹 | LLM安全 | 推理痕迹 | 大语言模型 | AI安全
李飞飞发布最新世界模型Atlas | World Labs | 世界模型 | 3D重建 | 视频生成
动荡时代来临,比尔盖茨发出AI警告 | AI风险 | 人工智能 | AI治理 | 就业冲击 | 人类
RSI推进越快,OpenAI的IPO越迟 | Sam Altman | OpenAI | RSI递归
OpenAI Astra循环深度架构:大模型第三条Scaling法则 | OpenAI Astra
SHEIN:千亿独角兽能否老树开新花 | 希音 | 跨境电商 | 快时尚 | 小单快反 | 港股IP
GPT-6 Astra:OpenAI宣布进入AGI时代 | OpenAI | GPT-6 | Ast
🧭 类似博主
0 条评论
发表评论
请先 登录 后参与讨论。