自托管AI API网关：一个密钥调用所有大模型

自托管AI API网关把 OpenAI、Anthropic、DeepSeek 等统一到一个端点后面。我们用 LiteLLM 和 one-api 演示配置。

💡 你将学到

自托管AI API网关把 OpenAI、Anthropic、DeepSeek 等统一到一个端点后面。我们用 LiteLLM 和 one-api 演示配置。

每个大模型供应商都有自己的 SDK、价格和速率限制。自托管AI API网关在它们前面提供一个 OpenAI 兼容端点——切换或新增供应商时，应用代码一行都不用改。

为什么自托管网关

LiteLLM（BerriAI/litellm，55,701 星）是领先的开源选择：Python 服务器暴露 /chat/completions，代理 100+ 供应商，带负载均衡、自动回退、预算限制和使用仪表盘。one-api（songquanpeng，36,211 星）是国内生态的流行替代，支持 OpenAI、Anthropic、Gemini、DeepSeek、Qwen 等，带密钥管理和分发。

部署就是单容器：docker run 加一个 config.yaml 列出供应商和密钥，应用指向 http://localhost:4000 即可。加虚拟密钥，让每个成员或服务有自己的预算和审计轨迹。光回退链（主供应商失败自动切备）就值回部署成本——一次供应商故障就不再是宕机事故。

对比

常见问题

问：网关会成为单点故障吗？
答：会，除非在负载均衡后面跑两个实例。网关本身很轻——这是已解决的问题。

问：会增加延迟吗？
答：通常只有 5-15ms 代理开销——和 LLM 秒级的响应时间比可以忽略。