博主头像

强推神项目！8G显卡跑125B大模型（无审查）Qwen3 8 Flash Next！速度93ts！

外来客 • 2026-10-15 16:41:48

分享
𝕏 f ◉
声明：本文为对公开内容的摘要整理， 未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议； 观点与版权归原作者及原平台所有。 如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

🎯 核心观点

  • 利用开源项目 Street 的 MoE 推理框架，普通消费级显卡（最低 8G 显存）可本地运行 125B 参数的大语言模型。
  • 该方案支持无审查内容生成，且所有数据保留在本地电脑，不上传云端。
  • 通过集成 Agent 工具（如 Workbody），可实现网页端交互及模型切换功能的自动化部署。

📊 关键事实与论据

  • 硬件配置：演示环境为 i5-12400 CPU、64G 内存、16G RTX 5060 Ti 显卡；最低要求 8G 显存，但需调整上下文长度。
  • 性能表现：在开启录屏占用内存的情况下，仍保持约 30 Token/秒的生成速度；支持 128K 上下文窗口，满足 Agent 任务需求。
  • 项目数据：Street 项目 GitHub Star 数达 19k，作者更新频繁，已适配 NVIDIA、AMD（HIP）及 Intel 显卡。
  • 存储需求：完整模型文件下载约需 300G 空间；单个模型部署建议预留至少 100G 硬盘空间。
  • 兼容性：支持 CUDA 12 适配老款显卡（如 T10），以及最新 30/40/50 系 NVIDIA 显卡和 AMD 显卡。

🛠️ 结论与操作建议

  • 部署步骤：下载 Street 项目源码及指定模型文件（如 IQ3、Q1）至同一硬盘目录；使用 Agent 工具执行自动化安装指令。
  • 功能扩展：通过自然语言指令让 Agent 配置网页界面，增加模型切换入口或接入 Workbody/DeepSeek Harness。
  • 适用场景：适合追求隐私保护、无审查体验及本地高性能推理的用户，无需高端专业显卡即可运行千亿级参数模型。

博主头像 👤 同一博主

查看该博主全部 25 篇

🧭 类似博主

0 条评论

发表评论

请先 登录 后参与讨论。