AI Gateway 2026：LiteLLM vs Portkey，统一路由、缓存与监控
你有三家LLM供应商，其中一家在最糟的时刻宕机。AI网关负责绕路、记成本、统一API。
💡 你将学到
你有三家LLM供应商，其中一家在最糟的时刻宕机。AI网关负责绕路、记成本、统一API。
标题：AI Gateway 2026：LiteLLM vs Portkey——路由、缓存与监控每一次LLM调用（55k Stars）
AI 网关：语言模型的负载均衡器
AI 网关位于你的应用与每个 LLM 提供商之间，暴露一个统一的 API（通常兼容 OpenAI 格式），同时处理路由、重试、缓存、成本跟踪和密钥管理。它是这样一种基础设施：当你只有两个提供商时你并不需要它，但一旦有了三个，你就再也离不开它。两个主流的开源选项是 LiteLLM（截至 2026 年 8 月，GitHub 星标 55,260）和 Portkey（星标 12,622）。
LiteLLM：轻量级标准
LiteLLM 是一个 Python 代理，它使用 OpenAI API 格式，并将其翻译给 100 多个提供商——OpenAI、Anthropic、Gemini、Bedrock、Azure，以及本地 vLLM 或 Ollama 端点。你可以将其作为 Docker 容器运行，将应用指向它，然后通过编辑配置文件来切换提供商。它还提供了每次请求的成本跟踪、速率限制和回退（如果提供商 A 失败，则在提供商 B 上重试）。
Portkey：企业级重型网关
Portkey 提供相同的核心功能（统一 API、路由、回退），外加更深的护栏、提示版本控制以及带有追踪的可观测性仪表板。当你需要开箱即用的可审计性和团队治理——谁修改了哪个提示，以及成本是多少——时，它是很好的选择。
两者实际提供的能力
- 团队共享一个 API 密钥——无需再跨服务共享提供商密钥。
- 自动故障转移——当主提供商被限流或宕机时，路由到备用提供商。
- 成本跟踪——在一个仪表板中查看所有提供商的每次请求支出。
- 缓存——相同的请求命中缓存而非 API，从而降低成本和延迟。
- 带退避的重试——无需应用代码即可处理瞬时的 429 和 5xx 错误。
可行的架构
将网关作为边车服务与你的应用一起运行。将所有内部客户端指向它。将上游密钥保存在网关的环境中，绝不在应用代码中保留。这样，你还获得了一个控制点，可以在这里添加预算——当本月支出达到 X 美元时，网关开始拒绝非关键调用。
常见问题
LiteLLM 免费吗？ 是的——采用 MIT 许可证的开源项目；该公司提供托管的企业版。
只有一个提供商时需要网关吗？ 不需要。当你拥有两个或多个提供商，或需要团队级成本控制时再添加。
它支持本地模型吗？ 是的——vLLM、Ollama 以及任何兼容 OpenAI 的本地端点都可以作为上游。
网关 vs 仅在代码中切换提供商？ 网关将切换变成配置变更而非代码变更——并且增加了你无法轻易手动构建的故障转移功能。
相关文章
❓ 常见问题
LiteLLM 免费吗？
是的——采用 MIT 许可证的开源项目；该公司提供托管的企业版。
只有一个提供商时需要网关吗？
不需要。当你拥有两个或多个提供商，或需要团队级成本控制时再添加。
它支持本地模型吗？
是的——vLLM、Ollama 以及任何兼容 OpenAI 的本地端点都可以作为上游。
网关 vs 仅在代码中切换提供商？
网关将切换变成配置变更而非代码变更——并且增加了你无法轻易手动构建的故障转移功能。
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。
