LLM评测基准排行榜:哪家模型跑分最高
🩺 摘要
每个模型发布都说自己跑分第一。但跑分项目太多了——MMLU、HumanEval、GSM8K……
📝 详情
主流评测基准
| 基准 | 测试内容 | 题量 | 代表能力 |
|---|---|---|---|
| MMLU-Pro | 57个学科知识(增强版) | 12K | 知识广度 |
| HumanEval | Python代码生成 | 164 | 编程能力 |
| GSM8K | 小学数学题 | 8.5K | 数学推理 |
| C-Eval | 中文考试题 | 9K | 中文能力 |
| Arena Elo | 真人盲测对战 | 百万投票 | 综合体验 |
2026年7月排行榜
| 排名 | 模型 | MMLU-Pro | HumanEval | GSM8K | Arena Elo |
|---|---|---|---|---|---|
| 1 | GPT-4o | 88.3 | 92.1 | 95.5 | 1523 |
| 2 | Claude 4 Sonnet | 87.6 | 90.4 | 94.2 | 1498 |
| 3 | DeepSeek R1 | 85.8 | 88.7 | 96.1 | 1476 |
| 4 | Qwen3-72B | 84.2 | 87.3 | 93.8 | 1462 |
| 5 | Gemini 2.5 Pro | 86.1 | 89.5 | 94.7 | 1485 |
如何自己跑评测
pip install lm_eval
# 评测本地模型
lm_eval --model hf \
--model_args pretrained=Qwen/Qwen2.5-7B \
--tasks mmlu_pro,gsm8k,hellaswag \
--device cuda:0 \
--batch_size auto \
--output_path ./results
# 解析结果
lm_eval --model openai-completions \
--model_args model=gpt-4o \
--tasks mmlu_pro,gsm8k \
--output_path ./results
import json
with open("./results/results.json") as f:
results = json.load(f)
for task, scores in results["results"].items():
acc = scores["acc"] * 100
print(f"{task}: {acc:.1f}%")
关键提醒
跑分高不代表适合你的场景。 推理类任务看GSM8K/MATH,编程看HumanEval/SWE-Bench,中文看C-Eval。选模型看具体需求——DeepSeek R1数学最强但编码不如GPT-4o,Qwen3-72B中文极好但英文稍逊。
💬 评论 (0)