Web LLM（1.9万星）浏览器端推理2026：直接在浏览器里跑Llama和Qwen

📘 教程 2026-08-06 约 4 分钟阅读

WebLLM（18,517星）借助WebGPU让大模型完全跑在浏览器里——没有服务器、不需要API Key。本文教你几分钟内在客户端加载Llama和Qwen。

💡 你将学到

WebLLM（18,517星）借助WebGPU让大模型完全跑在浏览器里——没有服务器、不需要API Key。本文教你几分钟内在客户端加载Llama和Qwen。

📜 目录

直接给结论
浏览器推理的价值
快速开始（npm）
实用注意事项
FAQ
相关文章

直接给结论

mlc-ai/web-llm（18,517星，TypeScript）是基于WebGPU的高性能浏览器端大模型推理引擎。它把你的浏览器标签页变成一台本地GPU服务器：模型跑在用户自己的硬件上，没有服务器成本、数据不出设备、也不需要API Key。

浏览器推理的价值

零基础设施：没有后端、不用租GPU、没有按token计费
天生隐私：提示词永远不出设备
可离线：模型下载完成后无网络也能用
免费扩容：每个访客自带算力

快速开始（npm）

npm install @mlc-ai/web-llm

import * as webllm from "@mlc-ai/web-llm";
const engine = await webllm.CreateEngine("Llama-3.1-8B-Instruct-q4f16_1-MLC");
const reply = await engine.chat.completions.create({
  messages: [{ role: "user", content: "用一句话解释WebGPU" }]
});
console.log(reply.choices[0].message.content);

首次加载需要下载模型（8B量化版约几个GB）并用WebGPU编译，之后再次打开只需几秒。Qwen2.5-0.5B/1.5B这类小模型在笔记本上非常流畅。