LLM评估指标论文：8篇必读基础论文
今天模型卡上的 MMLU、HumanEval、GSM8K，RAG 项目里的忠实度与上下文精度，CI 里的模型当裁判——这些评测方式不是凭空出现的，背后是八篇奠基论文。看懂它们，才知道每个分数在衡量什么、又在掩盖什么。
💡 你将学到
今天模型卡上的 MMLU、HumanEval、GSM8K，RAG 项目里的忠实度与上下文精度，CI 里的模型当裁判——这些评测方式不是凭空出现的，背后是八篇奠基论文。看懂它们，才知道每个分数在衡量什么、又在掩盖什么。
LLM评估指标论文：8篇必读基础论文
今天模型卡上的 MMLU、HumanEval、GSM8K，RAG 项目里的忠实度与上下文精度，CI 里的模型当裁判——这些评测方式不是凭空出现的，背后是八篇奠基论文。看懂它们，才知道每个分数在衡量什么、又在掩盖什么。
一、八篇论文一览
| 论文 | 年份 | 解决的问题 | 留下的东西 |
|---|---|---|---|
| MMLU | 2020 | 通用知识怎么量化 | 57 学科的单选题基准，长期占据模型卡首页 |
| HELM | 2022 | 单指标评测太片面 | 多场景、多指标、标准化报告框架 |
| GSM8K | 2021 | 数学推理怎么测 | 小学数学应用题基准，推理能力的事实标准 |
| HumanEval | 2021 | 代码能力怎么测 | 手写编程题 + pass@k 指标 |
| TruthfulQA | 2021 | 模型会不会一本正经胡说 | 针对常见误解的问答基准，真实性与幻觉评测的起点 |
| 思维链（Chain-of-Thought） | 2022 | 推理能力能不能被提示激发 | 让模型先写步骤再给答案，多个基准显著提升 |
| RAGAS | 2023 | RAG 系统怎么评 | 忠实度、答案相关性、上下文精度与召回这几个指标 |
| MT-Bench / LLM-as-a-Judge | 2023 | 人工评测太贵、太慢 | 用强模型当裁判，并把裁判可靠性本身作为研究对象 |
八篇都可以在 arXiv 免费读到。论文标题、年份与作者请以原文页面为准，本文只做导读。
二、每篇解决什么，怎么用
MMLU（2020）：把知识广度拆成几十个学科的选择题，用统一格式测量。它让"通用能力"第一次有了可比较的数字，也带来了后遗症：模型和数据集都被反复训练到分数饱和，如今的 MMLU 分数更适合当"及格线"而不是竞争力指标。
HELM（2022）：核心贡献不是某个基准，而是一套评测方法论——同一个模型在多个场景下测多个指标，并且公开全部配置。它推动行业从"挑一个好看的分数"转向"报告完整结果"。
GSM8K（2021）：用小学难度的数学应用题测多步推理。它的价值在于区分"会说"和"会算"，至今仍是推理类模型公告里的常客。
HumanEval（2021）：手写编程题配合 pass@k 指标（生成 k 个答案里至少一个通过测试的概率）。后来的代码基准大多沿用这个思路，只是题更难、更贴近真实仓库。
TruthfulQA（2021）：专门收集人类常见的错误认知来提问，看模型是顺着用户的错误说法编答案，还是给出更准确的说法。今天讨论幻觉与拒答时，用的还是这套思路。
思维链（2022）：论文的结论简单但影响深远——让模型先输出推理步骤再给答案，算术与常识推理准确率显著上升。今天推理模型把"先想再答"做成了训练目标，源头在这里。
RAGAS（2023）：把 RAG 的失败拆成两个环节：检索有没有找到正确资料（上下文精度、上下文召回），生成有没有忠于资料（忠实度、答案相关性）。这样一来，"答案错了"就能定位到是检索问题还是生成问题。
MT-Bench / LLM-as-a-Judge（2023）：同一篇论文既提出了多轮对话评测集，也验证了用强模型当裁判的可行性，同时诚实列出裁判的偏好来源——位置偏好、啰嗦偏好、自我偏好。这是它最有价值的贡献：用它，同时知道它的偏差。
三、八篇之外的补充
- BIG-bench（2022）：大规模任务集合，做覆盖面检查时用得上
- SWE-bench（2023）：真实软件仓库里的问题修复任务，2026 年代码 Agent 的主要竞技场
四、这些指标今天怎么落地
| 场景 | 用什么 | 注意 |
|---|---|---|
| 选基座模型 | 通用知识 + 数学 + 代码三类基准 | 分数只作第一轮筛，别当结论 |
| RAG 系统 | 忠实度、上下文精度与召回 | 一定要分环节看，别只看最终答案 |
| 上线回归测试 | 自带评测集 + 模型当裁判 | 裁判要抽检，偏差会累积 |
| 代码 Agent | 真实仓库任务类基准 | 数据污染最严重的地方，私有任务集更可信 |
一条经验：公开基准的分数在被反复使用后都会逐渐饱和，而且存在训练数据混入的风险。真正决定上线的是你自己的评测集——从真实业务问题里抽一批，带标准答案，随版本迭代维护。公开基准用来横向对比，自家评测集用来做决策。
五、常见问题
Q：要从哪篇开始读？ A：按需求选。做应用先读 RAGAS 与 LLM-as-a-Judge；做模型选型先读 MMLU、GSM8K、HumanEval；想理解评测方法论读 HELM。
Q：分数高就代表好用吗？ A：不代表。基准衡量的是特定任务上的表现，和你的业务场景、提示方式、上下文长度都可能不同。分数高只是必要条件。
Q：模型当裁判可信吗？ A：在成对比较与固定评分标准下比较可靠，但存在位置偏好、长度偏好和对自己输出的偏好。实践中常做两件事：交换顺序重复评测、定期用人工抽检校准。
Q：这些论文里有能直接抄的方法吗？ A：RAGAS 与 LLM-as-a-Judge 都有对应开源实现可复用；MMLU、GSM8K、HumanEval 的数据集也公开可用。引用时注意各自的许可条款。
注：本文为论文导读，论文标题、年份、作者、数据集规模与许可请以 arXiv 与官方仓库页面为准。
相关文章
❓ 常见问题
Do I need to read all eight?
Start with MMLU, RAGAS, and LLM-as-a-Judge - they cover 80% of daily practice.
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。