Linux本地AI助手：Ollama + Open WebUI完全离线方案

Linux上的本地AI助手：Ollama跑模型、Open WebUI聊天、LocalAI提供API。完整离线方案附真实星数。

💡 你将学到

Linux上的本地AI助手：Ollama跑模型、Open WebUI聊天、LocalAI提供API。完整离线方案附真实星数。

Linux是本地AI助手的最佳平台：无头服务器、Docker、GPU驱动都规规矩矩。一套完整离线助手是一个周末的项目。

技术栈

Ollama（177,874星）一行命令安装、提供OpenAI兼容API。Open WebUI（148,123星）是ChatGPT级界面，带RAG、多用户、联网搜索。LocalAI（48,305星）为期待真实端点的应用提供即插即用的OpenAI API替代。三个都跑在Docker里，任意Linux盒子都行——包括迷你主机或NAS。

你得到什么

一个不联网也能工作的私有助手：聊天、从你的文件做文档问答、给脚本提供API。7-8B模型16GB内存可跑；32B模型要32GB或16GB显存GPU。隐私收益是彻底的——数据不出机器。

常见问题

问：需要GPU吗？
答：不需要——llama.cpp（122,831星）和Ollama都能CPU跑；慢但可用。GPU快3-10倍。

问：先装哪个模型？
答：多语言用Qwen2.5（27,479星）7B，推理用DeepSeek-R1（91,982星）蒸馏版——两者16GB内存都能跑。