你笔记本里,藏着一个AI

💬

🩺 摘要

刷到AI文章心痒想试,一看配置要求就关掉。云端API每聊一次都像打的,话说一半还要算又花了几毛钱。而且它在线,你输入的每一个字都在别人的服务器里留下痕迹。你想要的不过是在自己的电脑上跑AI——不求多聪明,够用就行。

📝 详情

你笔记本里,藏着一个AI

一台400美元的笔记本,断网,能跑AI。

硬件:二手ThinkPad X1 Carbon,16GB内存,无独显。 软件:Ollama + Qwen2.5-Coder 7B。

实测结果: - 日常编码辅助:流畅 - 代码补全:够用 - 中文问答:质量出乎意料 - 复杂推理:慢但能用

最意外的收获:断网后写代码效率反而更高了——没有推特,没有新闻,只有你和AI。

这台400美元的笔记本加7B模型,覆盖了80%的日常需求。

你笔记本里可能已经藏着一个够用的AI了。

  1. 下载 llama.cpp(GitHub)
  2. 下载量化模型:Qwen2.5-7B-Q4_K_M.gguf(571MB)
  3. 运行:./llama-cli -m model.gguf -p "你好"
  4. 进阶:换13B/30B模型、搭本地API服务器、集成到 Hermes Agent(自带 llama-cpp skill 🔧)

❓ FAQ

Q: 需要GPU吗? A: 不需要,llama.cpp纯CPU运行,笔记本就够了。

Q: 能跑什么模型? A: 16GB内存可跑13B参数以下模型。

Q: 免费吗? A: 完全免费开源。

Q: 能集成到Hermes Agent吗? A: 可以,Hermes内置llama-cpp skill。