FastChat（4万星）2026

📘 教程 2026-08-06 约 4 分钟阅读

FastChat（39,515星）是训练、服务和评估大模型的开放平台——包括Vicuna模型和高性能服务引擎。本文是完整指南。

💡 你将学到

FastChat（39,515星）是训练、服务和评估大模型的开放平台——包括Vicuna模型和高性能服务引擎。本文是完整指南。

📜 目录

直接给结论
你能得到什么
用OpenAI兼容API服务模型
多模型服务
实用技巧
FAQ
相关文章

直接给结论

lm-sys/FastChat（39,515星，Python）是LMSYS（Chatbot Arena背后的团队）推出的开放平台，用于训练、服务和评估大语言模型。它包含Vicuna模型家族、OpenAI兼容服务引擎和评估工具——全在一个代码库。

你能得到什么

模型：Vicuna及其他微调聊天模型
服务：FastChat服务器的高吞吐推理
评估：对比模型输出的评估管线（类Arena模式）
训练：微调聊天模型的脚本和数据
Web UI：类ChatGPT的演示界面

用OpenAI兼容API服务模型

pip install fschat

# 用CLI服务
python -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5

# 或启动API服务器（OpenAI兼容）
python -m fastchat.serve.openai_api_server \n  --model-path lmsys/vicuna-7b-v1.5 --port 8000

然后使用任意OpenAI客户端：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="vicuna-7b-v1.5",
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)