AI Agent降级策略：API挂了Agent怎么自己救自己？

降级不是失败，是成熟

生产环境中，外部依赖随时可能出问题。Agent的降级策略决定用户是否感知到问题。

降级层次

L0：一切正常，全速运行
L1：主要API限流 → 切备用API（GPT→Claude→DeepSeek）
L2：所有API都限流 → 降级到本地小模型（Ollama）
L3：网络断开 → 离线模式（只回复缓存的知识）
L4：完全不可用 → 返回"暂时无法处理" + 记录错误

实现

models = ["gpt-4o", "claude-3", "deepseek-chat", "local-llm"]

def call_with_fallback(prompt):
    for model in models:
        try:
            return call_model(model, prompt)
        except Exception:
            continue
    return "Service temporarily unavailable"

缓存的重要性

降级到备用API时响应可能变慢。提前缓存常见查询，离线也能回复。

总结

降级策略是"最坏情况下的用户体验"。L1切API、L2降模型、L3离线、L4认输。 每层都要测试。