自托管AI API网关：一个密钥调用所有大模型
自托管AI API网关把 OpenAI、Anthropic、DeepSeek 等统一到一个端点后面。我们用 LiteLLM 和 one-api 演示配置。
💡 你将学到
自托管AI API网关把 OpenAI、Anthropic、DeepSeek 等统一到一个端点后面。我们用 LiteLLM 和 one-api 演示配置。
每个大模型供应商都有自己的 SDK、价格和速率限制。自托管AI API网关在它们前面提供一个 OpenAI 兼容端点——切换或新增供应商时，应用代码一行都不用改。
为什么自托管网关
LiteLLM（BerriAI/litellm，55,701 星）是领先的开源选择：Python 服务器暴露 /chat/completions，代理 100+ 供应商，带负载均衡、自动回退、预算限制和使用仪表盘。one-api（songquanpeng，36,211 星）是国内生态的流行替代，支持 OpenAI、Anthropic、Gemini、DeepSeek、Qwen 等，带密钥管理和分发。
部署就是单容器：docker run 加一个 config.yaml 列出供应商和密钥，应用指向 http://localhost:4000 即可。加虚拟密钥，让每个成员或服务有自己的预算和审计轨迹。光回退链（主供应商失败自动切备）就值回部署成本——一次供应商故障就不再是宕机事故。
对比
| 功能 | LiteLLM | one-api |
|---|---|---|
| 供应商 | 100+ | OpenAI/Anthropic/DeepSeek/Qwen |
| 负载均衡 | 有 | 有 |
| 预算限制 | 有 | 有 |
| 星数 | 55,701 | 36,211 |
常见问题
问：网关会成为单点故障吗？
答：会，除非在负载均衡后面跑两个实例。网关本身很轻——这是已解决的问题。
问：会增加延迟吗？
答：通常只有 5-15ms 代理开销——和 LLM 秒级的响应时间比可以忽略。
相关文章
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。
