你笔记本里，藏着一个AI
一台四百美元的二手笔记本，16GB内存，没有独显，拔掉网线也能跑AI。硬件不新也不贵，软件只有两样：Ollama 加一个70亿参数的量化模型。这篇讲清这台机器真实能做什么、不能做什么，以及你怎么在自己电脑上复制一遍。
💡 你将学到
一台四百美元的二手笔记本，16GB内存，没有独显，拔掉网线也能跑AI。硬件不新也不贵，软件只有两样：Ollama 加一个70亿参数的量化模型。这篇讲清这台机器真实能做什么、不能做什么，以及你怎么在自己电脑上复制一遍。
📜 目录
你笔记本里，藏着一个AI
一台四百美元的二手笔记本，16GB内存，没有独显，拔掉网线也能跑AI。硬件不新也不贵，软件只有两样：Ollama 加一个70亿参数的量化模型。这篇讲清这台机器真实能做什么、不能做什么，以及你怎么在自己电脑上复制一遍。
一、先看你手里的机器够不够
本地跑模型，第一道门槛是内存，不是显卡。下面按 Q4 量化档位估算（实际占用随模型和量化方式浮动，以官方模型卡为准）：
| 内存 | 舒服跑的模型级别 | 实际体验 |
|---|---|---|
| 8GB | 3B 级小模型（如 Qwen 3B 档）Q4 | 问答、摘要、改写够用，写代码一般 |
| 16GB | 7B-8B 级 Q4 | 日常编码辅助、中文问答流畅，本文就是这一档 |
| 32GB | 14B 级 Q4，或 7B 的 Q8 高精度 | 稍复杂的推理能撑住，长文档不易崩 |
显存不是硬门槛。没有独显就走 CPU 推理，慢一些但能跑；有 6GB 以上显存可以把模型层整段放进显卡，速度差别明显。速度参考：CPU 推理大致每秒几个到十几个 token（视 CPU、模型和量化档而定），等待感像看手写信，一行一行地出。
二、装法一：Ollama，装完就能用
对绝大多数人，这条路最快：
- 到 ollama.com 下载对应系统安装包（Windows、macOS、Linux 都有）
- 打开终端，输入
ollama run qwen2.5:7b，首次运行会自动下载模型（体积以官网模型页为准） - 之后用
ollama list看本机已有模型，ollama pull 模型名换新模型 - 想接别的工具：Ollama 在本机 11434 端口提供 OpenAI 兼容接口，凡是支持自定义 API 地址的客户端都能直接连
装完之后它是一个常驻后台的服务，不需要开网页就能被编辑器、脚本、聊天界面调用。
三、装法二：llama.cpp，想要更细的控制
llama.cpp 是本地推理的老牌项目，适合愿意动手的人：
- 从 GitHub 取源码，按官方 README 编译（CPU 版开箱可用，显卡版按文档加编译选项）
- 下载一个 GGUF 格式的量化模型文件，放进本地目录
- 命令行推理：
llama-cli -m 模型文件.gguf -c 4096 -p "你的问题"
好处是量化档位、上下文长度、线程数都能自己调，内存占用更可控，还能在没有 Python 环境的老机器上跑。代价是升级和维护要自己来。命令参数各版本有差异，以官方 README 为准。
四、量化档位怎么选
同一个模型会被切成不同精度的文件，精度越低体积越小、速度越快、质量越差：
| 档位 | 体积 | 质量 | 建议 |
|---|---|---|---|
| Q2 / Q3 | 最小 | 明显下降，长句容易跑偏 | 只在内存实在不够时用 |
| Q4_K_M | 中等 | 与原始精度差距很小 | 默认选它，最均衡 |
| Q5 / Q8 | 较大 | 接近原始精度 | 内存宽裕、追求稳定输出时用 |
一句话结论：先装 Q4_K_M，跑顺了再考虑升精度或换更大的模型。
五、模型选哪个（按用途）
| 用途 | 常见选择 | 说明 |
|---|---|---|
| 写代码、补全 | Qwen2.5-Coder 系列 7B 档 | 本地编码辅助的主力，配合编辑器插件可用 |
| 中文问答、写作 | Qwen 系列通用档 | 中文语感在开源模型里属第一梯队 |
| 通用对话、英文任务 | Llama 系列 8B 档 | 生态和工具支持最全 |
| 小内存机器 | Phi 系或 3B 档 | 能跑起来比跑得好更重要时的选择 |
| 本地检索、文档问答 | 嵌入模型（如 nomic-embed-text 类） | 给 RAG 用，体积小、速度快 |
模型的具体体积、上下文长度、许可证都以官方模型卡为准，别照搬别人的参数量。
六、让它真正变成生产力：三个接法
- 接编辑器：Continue、Cline 这类工具支持把 Ollama 当作本地模型后端，代码补全和问答不出机器
- 接网页界面：装 Open WebUI，就有了类似 ChatGPT 的对话界面和历史记录，全部跑在本机
- 接你自己的文档：AnythingLLM 这类工具把 PDF、笔记丢进去做本地检索问答，全程离线
七、这台四百美元机器的实测边界
- 日常编码辅助：流畅
- 代码补全：够用
- 中文问答：质量出乎意料
- 复杂推理：慢，但能用
- 长文档分析、多步任务：吃力，这种活还是交给云端大模型
最意外的收获是断网本身：没有信息流、没有推送，写代码的效率反而更高，屏幕里只剩你和它。
常见问题
Q：没有独显真的能跑吗？ A：能。CPU 推理是慢，不是不能。7B 级 Q4 模型在 16GB 内存的轻薄本上可用，瓶颈是生成速度而不是能否启动。
Q：和云端大模型差多少？ A：日常问答、文本改写、代码补全这类任务差距不大；复杂推理、长文档、多步规划差距明显。合理做法是本地做高频小事，云端做难事。
Q：模型文件放在哪里？ A：Ollama 有自己的模型目录（安装后自动管理），llama.cpp 就是你下载 GGUF 的那个文件夹。搬家时整目录拷走即可。
Q：太慢了怎么提速？ A：三招——换更小的模型、降量化档位、把模型放进显存。加内存对生成速度帮助有限，主要解决的是能不能装得下。
Q：耗电和隐私怎么样？ A：笔记本本地推理大致几十瓦量级，比跑游戏轻。数据全程不出机器，这也是很多人在敏感文档上选本地模型的唯一理由。
注：模型体积、内存占用与推理速度随量化档位、模型版本和硬件差异较大，具体以官方模型卡与实际实测为准。
相关文章
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。
