LLM评估平台2026：Langfuse、Arize Phoenix与开源Evals怎么配

📜 目录

• 一、三层结构，别指望一个工具全干
• 二、评估框架：三款按场景选
• 三、追踪平台：三款的差别在哪
• 四、LLM当裁判：能用，但要设规矩
• 五、起步只要五个指标
• 六、推荐架构：离线挡回归，线上抓漂移
• 常见问题
• 相关文章

LLM评估平台2026：Langfuse、Arize Phoenix与开源Evals怎么配

上线之后最难受的时刻：改了一句提示词，说不清是变好还是变坏。LLM应用没有单元测试那种确定性，只能靠评估体系。2026年这件事已经分工明确，不是一个工具能全包。

一、三层结构，别指望一个工具全干

三层的关系：框架负责"离线证明还行"，平台负责"线上持续监控"，裁判负责"没有标准答案时也能打分"。

二、评估框架：三款按场景选

RAGAS——专攻RAG的四类指标：忠实度（答案是否只用到了检索内容）、答案相关性、上下文精确度（检索到的块有多少真被用上）、上下文召回（该找到的找到没有）。做文档问答不用它，等于闭着眼睛调检索。

promptfoo——声明式配置，写一个yaml定义提示词、测试用例、断言，然后用一条命令跑完并输出对比报告。它最大的价值是能进CI：每次改提示词自动跑一轮回归，挡掉"顺手改一句导致效果下降"这种事。

DeepEval——Pytest风格，测试用例就是测试函数，内置一批指标模板（相关性、忠实度、幻觉、毒性等）。已经在写Python测试的团队迁移成本最低。

三、追踪平台：三款的差别在哪

Langfuse把一次请求的完整链路画出来：提示词、检索块、模型调用、工具调用、耗时、花费。它还能把线上真实trace存成数据集，改完提示词直接在这个数据集上重跑对比。2026年多数团队的第一选择。

Arize Phoenix的强项是可视化排查：把问题和答案的嵌入画在二维平面上，一眼看出哪一类问题聚在一起出错。RAG效果差但说不清原因时，这个视图比看日志有用。

Helicone是网关形态，改一行base_url就能接入，先把调用、成本、缓存情况看清楚。它的定位是"先观测"，不是完整评估平台。

四、LLM当裁判：能用，但要设规矩

没有标准答案的场景（写作质量、客服回复是否得体），只能让强模型按准则打分。经验是：

1. 准则要具体。"回答是否好"没用；"是否引用了资料中的具体数字，且数字与原文一致"能打分。
2. 别让裁判评自己。评估模型和被测模型同族时会偏向自己的风格，交叉评更可靠。
3. 给评分锚点。每个分数段写一句示例，比只给1-5分标尺稳定得多。
4. 抽样人工复核。抽5%-10%的人工打分，和裁判分数对一遍。一致性差说明准则写得模糊。

多数资料认为准则明确时裁判与人工评分的偏差可以控制在较小范围，但具体数字依任务而变，建议自己跑一次校准。

五、起步只要五个指标

五个指标一起看才有意义：只盯正确性会把模型调得又慢又贵，只盯成本会得到一个总说"不知道"的系统。

六、推荐架构：离线挡回归，线上抓漂移

1. 建一个黄金集：50-200条真实问题加期望答案，覆盖主要场景和已知坑。
2. CI里跑框架：每次改提示词、换模型、改检索参数，用promptfoo或DeepEval在黄金集上跑一遍，分数下降就拦住。
3. 线上接Langfuse：全量trace入库，成本按功能打标签。
4. 线上抽样打分：对生产流量抽1%-5%，用同一套准则跑LLM裁判。
5. 两边用同一套准则：离线分和线上分能对比，否则数字没有可比性。

常见问题

Q：小团队有必要搞这么全吗？ A：可以砍到两步：一个黄金集加一个在线追踪。没有黄金集，所有"效果变好了"的判断都是感觉。

Q：自托管会不会很重？ A：Langfuse和Phoenix都能用Docker单机跑，一个中等配置的服务器够用。数据不出内网这点，对处理客户数据的团队往往是决定性因素。

Q：评估要花多少钱？ A：裁判调用是主要成本。控制方法是抽样、用便宜模型做初筛、只在分数临界时上强模型复核。

Q：为什么评估分数涨了但用户还在抱怨？ A：多半是黄金集和真实分布不一致。把线上差评的case补进黄金集，评估体系才会跟上真实需求。

注：各平台的功能分档和自托管条件随版本变化，以官方文档为准。

相关文章

• Arize Phoenix 2026：开源LLM可观测性与评估
• LLM评估框架2026：用Promptfoo像OpenAI一样测试提示词
• Hugging Face上的LLM评估指标：排行榜与用法