FastChat（4万星）2026：用开放平台训练、服务与评估大模型

FastChat（39,515星）是训练、服务和评估大模型的开放平台——包括Vicuna模型和高性能服务引擎。本文是完整指南。

💡 你将学到

FastChat（39,515星）是训练、服务和评估大模型的开放平台——包括Vicuna模型和高性能服务引擎。本文是完整指南。

直接给结论

lm-sys/FastChat（39,515星，Python）是LMSYS（Chatbot Arena背后的团队）推出的开放平台，用于训练、服务和评估大语言模型。它包含Vicuna模型家族、OpenAI兼容服务引擎和评估工具——全在一个代码库。

你能得到什么

• 模型：Vicuna及其他微调聊天模型
• 服务：FastChat服务器的高吞吐推理
• 评估：对比模型输出的评估管线（类Arena模式）
• 训练：微调聊天模型的脚本和数据
• Web UI：类ChatGPT的演示界面

用OpenAI兼容API服务模型

pip install fschat

# 用CLI服务
python -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5

# 或启动API服务器（OpenAI兼容）
python -m fastchat.serve.openai_api_server \n  --model-path lmsys/vicuna-7b-v1.5 --port 8000

然后使用任意OpenAI客户端：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="vicuna-7b-v1.5",
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)

多模型服务

生产环境用controller + 多个model worker架构，在一个API端点后面服务多个模型，带负载均衡。

实用技巧

• 规模化服务多模型用controller/worker架构。
• 部署前用评估管线对比微调版本。
• Vicuna检查点需要基础Llama权重才能完整运行。

FAQ

免费吗？ 是——Apache-2.0开源（模型许可证各异）。

谁在维护？ LMSYS Org——Chatbot Arena（lmarena.ai）背后的团队。

能用GPU吗？ 能——为GPU推理优化，支持批处理提升吞吐。