太爽了！8~12G 显存就能跑 125B 大模型？Strata 开源神器来了！老电脑也能部署超大模型

外来客 • 2026-11-04 02:31:07

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

工作原理：核心模型载入显存，其余部分分别载入内存和硬盘，突破单一显存限制。
硬件适配：支持 N卡、A卡及 I卡，自动检测单机硬件并推荐最适模型（如千万3.8 Flash Negax IQ3S 量化版，大小 83.6G）。
性能表现：在 24GB 显存 + 64GB 内存环境下，GPU 负载可达 100%，显存占用约 21G，处理速度约为每秒 26 token。
功能特性：支持视觉模型加载、MTP 压缩加速及 API 服务对接（兼容 Cloud Code、Deep Seek 等），可通过 CloudFly 隧道实现外网调用。