16GB 显存跑 125B 大模型，实测每秒吐 30 个字，还不花一分钱 API 费
16GB 显存跑 125B 大模型，实测每秒吐 30 个字，还不花一分钱 API 费 我的主力机是 RTX 4060 Ti 加 32GB 内存，标准游戏配置。这周我把一个 1250 亿参数的大模型装进了这台机器，实测输出 30 token/s，读 6901 token 的长文档只花 6 秒。要知道
💡 你将学到
16GB 显存跑 125B 大模型，实测每秒吐 30 个字，还不花一分钱 API 费 我的主力机是 RTX 4060 Ti 加 32GB 内存，标准游戏配置。这周我把一个 1250 亿参数的大模型装进了这台机器，实测输出 30 token/s，读 6901 token 的长文档只花 6 秒。要知道
16GB 显存跑 125B 大模型，实测每秒吐 30 个字，还不花一分钱 API 费
我的主力机是 RTX 4060 Ti 加 32GB 内存，标准游戏配置。这周我把一个 1250 亿参数的大模型装进了这台机器，实测输出 30 token/s，读 6901 token 的长文档只花 6 秒。要知道这个模型 Qwen3.8-Flash-Next 的官方推荐配置是 24GB 显存加 64GB 内存，我的内存只有要求的一半。做到这件事的引擎叫 Strata，0.1.38 版，GitHub 746 颗星，MIT 全开源。下面是我从下载到跑通的全部实测记录。
我为什么敢装：先跑了一遍它的自检
动手前我最关心的是"我这套配置到底行不行"。Strata 自带硬件自检，跑完直接给我判了：16GB 显存够，32GB 内存走低内存模式，能跑 Coder 版（砍掉一半专家的编程特化版，IQ1_M 量化，下载 58GB）。它还给了个警告：我的 Windows 页面文件只有 2GB，不改成系统托管可能白丢显存。这个提示后来证实很关键，官方文档里专门写了这是显卡内存的坑。
安装：我总共只敲了一次命令
整个流程我就干了两件事：git clone 拉仓库，然后双击 START-HERE.bat。选模型、选量化、选上下文长度（它推荐我 64K），剩下全自动：下引擎、下模型、打包专家文件、写启动脚本。58GB 在我百兆宽带上跑了约两个半小时，中途断过一次，续传接着跑，没有重来。装完双击启动，浏览器自动打开聊天界面，前后没敲过第二行命令。
首次启动我被吓了一跳：电脑卡死将近两分钟，鼠标都拖不动。后来才看到它的说明，引擎要把 35GB 数据锁进内存，卡是正常现象，等就行。
我实测出来的数字
跑通之后我做了两组测试，数据都来自引擎日志，不是估算：
| 测试项 | 我的实测数据 |
|---|---|
| 短对话输出 | 30.1 token/s（峰值 33.5） |
| 6901 token 长文档读取 | 6 秒（约 1150 token/s） |
| 专家缓存命中率 | 60% 至 78%，越用越高 |
| 显存占用 | 15.7 / 16.4 GB，接近满载 |
| 上下文窗口 | 65536 token |
30 token/s 是什么体感？一分钟 1800 字，比人阅读快 5 倍，对话时完全无感等待。我把长代码文件整个喂给它当上下文，6 秒读完开始回答，这个 prefill 速度是它最让我意外的部分。原理上它能跑起来靠的是 MoE 架构：全模型 24576 个专家，每个 token 只激活 10 个，显卡放最常用的 3689 个，其余全在内存里，用得越多它越清楚该把谁搬上显卡。
我踩到的两个坑
第一个就是上面说的首次启动卡死，看着像死机，其实是在搬内存，我的应对是等。第二个是页面文件，setup 一开始就警告过我，我还没改，官方说改成系统托管后显存利用会更足，速度可能还能涨，这是我下一步要验证的。另外它一次只处理一个请求，多开窗口会排队。
我的结论
之前我以为 125B 模型跟我这种配置无缘，跑完这轮实测我改观了：Strata 把模型按热度拆开，显卡放常用的，内存放全部的，SSD 放备用的，再用投机解码把速度翻 1.6 倍，"跑不动"就变成了"跑得慢一点"。零 API 费用，装一次随便用，你的机器行不行，跑一遍它的自检就知道。
你手头那张显卡，显存是多大？
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。
