我断网用一台400美元的笔记本跑AI,结果居然够用
🩺 摘要
突发奇想:如果彻底断网,光靠一台连独立显卡都没有的笔记本,能不能正常用AI一周?我装上了Ollama,拉了几个7B–14B的模型,把API密钥全删了。结果比我想象的能打得多。
📝 详情
配置:ThinkPad T14s(AMD Ryzen 7, 16GB内存, 无独显), Ollama + Qwen2.5-7B 和 Llama-3.1-8B。
意外好用:代码补全(via continue.dev),延迟1–2秒,完全可用。摘要总结、头脑风暴表现不错。
不太行:超过5K token的长上下文推理会忘记上下文。创意文笔太平。中英文混用处理糟糕。
真正结论:普通开发者80%的AI需求,本地7B–8B模型在消费级硬件上就能搞定。差距在快速缩小。
先装Ollama,拉个Qwen2.5-7B或Llama-3.1-8B,配好continue.dev。用一天之后你会发现,真正离不开API的场景没你想象的那么多。断网的时候还能用AI——那种自由感值回票价。
💬 评论 (0)