LocalAI 安装指南 2026：在自己的硬件上运行开源AI模型
LocalAI 是一个开源的本地推理平台，把模型跑在自己的机器上，对外提供和 OpenAI 一样的接口。已有代码把 base_url 指过来就能用，不必重写调用逻辑。它比聊天客户端更偏服务端：文本、图像、语音、嵌入都在同一个端口上。
💡 你将学到
LocalAI 是一个开源的本地推理平台，把模型跑在自己的机器上，对外提供和 OpenAI 一样的接口。已有代码把 base_url 指过来就能用，不必重写调用逻辑。它比聊天客户端更偏服务端：文本、图像、语音、嵌入都在同一个端口上。
LocalAI 安装指南 2026：在自己的硬件上运行开源AI模型
LocalAI 是一个开源的本地推理平台，把模型跑在自己的机器上，对外提供和 OpenAI 一样的接口。已有代码把 base_url 指过来就能用，不必重写调用逻辑。它比聊天客户端更偏服务端：文本、图像、语音、嵌入都在同一个端口上。
一、它和 Ollama 的区别
| 维度 | LocalAI | Ollama |
|---|---|---|
| 模型类型 | 文本、图像、音频、嵌入、重排 | 以文本模型为主 |
| 接口风格 | 完整 OpenAI 兼容面 | 自有 API 加兼容子集 |
| 配置方式 | YAML 模型配置，参数暴露细 | 命令行参数，默认值省心 |
| 适合谁 | 要当后端、要多模态 | 想最快跑起来聊天 |
二、硬件对照表
以下是社区实践中的常见量级，具体取决于量化档位和上下文长度：
| 模型规模 | 显存 | 内存 | 磁盘 |
|---|---|---|---|
| 7B（4bit 量化） | 4–6GB | 8GB | 约 5GB |
| 13B | 8–10GB | 16GB | 约 10GB |
| 34B | 16–20GB | 32GB | 约 20GB |
| 70B（量化） | 24–32GB | 48GB | 约 40GB |
没有显卡也能跑，用 CPU 后端加小模型即可，速度慢一个数量级但完全可用。
三、安装步骤
第 1 步：装容器运行时
sudo apt install docker.io docker-compose-plugin
第 2 步：拉镜像并启动
docker pull localai/localai:latest
docker run -d --name local-ai -p 8080:8080 \
-v localai-models:/models -v localai-backends:/backends \
--restart unless-stopped localai/localai:latest
GPU 用户需要换成对应 CUDA 的镜像标签，标签名随版本变化，以官方文档为准。
第 3 步：下载一个模型
LocalAI 自带模型画廊，可以直接按名字装：
docker exec -it local-ai local-ai models install llama-3.2-3b-instruct
也可以把自己的 GGUF 文件放进模型卷（容器内目录是 /models），再写一个同名 YAML 配置。
第 4 步：验证接口
curl http://localhost:8080/v1/models
curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" \
-d '{"model":"llama-3.2-3b-instruct","messages":[{"role":"user","content":"你好"}]}'
能看到模型列表、能返回回答，就装好了。
四、当成 OpenAI 用
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8080/v1", api_key="not-needed")
嵌入、图像生成、语音转写也在这套 SDK 下，路径分别是 /v1/embeddings、/v1/images/generations、/v1/audio/transcriptions。
五、做成常驻服务
- 容器加
--restart unless-stopped，重启机器后自动起来 - 前面放 nginx 反代，加 Basic Auth 或 API Key 校验，再配 HTTPS
- 只在内网用时把端口映射改成
-p 127.0.0.1:8080:8080，避免被扫描到 - 模型和配置都放卷里，升级只需
docker pull再重建容器
常见问题
Q：Windows 能用吗？ 可以。走 Docker Desktop 或 WSL2，GPU 直通需要 WSL2 环境，纯 Windows 后端可能拿不到显卡。
Q：加载模型报显存不足怎么办？ 先把上下文长度降下来，再换更低的量化档位，最后才考虑减参数规模。顺序反了通常白折腾。
Q：能接 Open WebUI、Dify 这些前端吗？
可以。它们都支持自定义 OpenAI 兼容地址，填 http://主机:8080/v1 即可。
Q：和直接用 llama.cpp 有什么区别？ LocalAI 在后端之上加了一层服务化封装：多模型管理、统一接口、并发调度。要的就是这层省事。
注：镜像标签、模型画廊名称和默认端口可能随版本调整，具体以官方文档为准。
相关文章
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。
