AI Agent负载均衡：一个Agent忙不过来就多开几个

单机单Agent能处理10个并发。用户到了50个并发——响应时间从2秒变成30秒。你需要负载均衡。

三种策略

1. 轮询（Round Robin） 每个新请求依次分配给下一个Agent实例。简单但没考虑负载差异。

2. 最少连接 分配给当前活跃请求最少的Agent实例。比轮询好。

3. 基于队列 请求先进队列，空闲的Agent从队列取任务。最公平。

用Nginx做负载均衡

upstream agent_backend {
    least_conn;  # 最少连接策略
    server 127.0.0.1:8001;
    server 127.0.0.1:8002;
    server 127.0.0.1:8003;
}

注意状态管理

多实例Agent时，用户可能被分配到不同实例。Session要存在共享存储（Redis）里，不能存在本地内存。

总结

负载均衡不难，难的是状态共享。把会话状态从本地内存移到Redis，Agent就变成可以水平扩展的无状态服务了。

水平扩展

Nginx做反向代理+负载均衡：

upstream agent_cluster {
    least_conn;
    server 127.0.0.1:8001 max_fails=3 fail_timeout=30s;
    server 127.0.0.1:8002 max_fails=3 fail_timeout=30s;
    server 127.0.0.1:8003 max_fails=3 fail_timeout=30s;
}

server {
    listen 80;
    location /agent/ {
        proxy_pass http://agent_cluster;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

注意：session存在Redis里，不在本地内存。否则A实例处理的用户，下次请求被分到B实例就丢了上下文。