开源AI评估工具2026：评判你模型的免费栈

评估SaaS账单累积很快。开源评估栈用0美元覆盖多数需求——这里是完整免费工具箱，连同每块覆盖什么、缺口在哪。

💡 你将学到

评估SaaS账单累积很快。开源评估栈用0美元覆盖多数需求——这里是完整免费工具箱，连同每块覆盖什么、缺口在哪。

📜 目录

• 免费评估栈
• 免费栈覆盖什么
• 缺口在哪
• 组装指南
• FAQ

免费评估栈

下面每个工具都开源、可免费自托管。合起来覆盖完整评估生命周期（星数2026-08-12获取）。

Promptfoo（24,132星）：测试用例和回归——定义输入、预期行为、对任何模型跑。单元测试层。

DeepEval（17,533星）：指标库——幻觉、相关性、G-Eval等，pytest风格。评分层。

RAGAS（15,277星）：RAG专用指标——忠实度、上下文精确率/召回率。检索层。

lm-evaluation-harness（13,595星）：60+标准基准用于基础模型对比。研究层。

Langfuse（32,895星）：生产里的追踪加评估——打标注、LLM-as-judge、版本追踪。生产层。

Arize Phoenix（10,997星）：带评估和漂移检测的生产可观测。监控层。

OpenAI Evals（19,146星）：原创框架，模型评分和代码评分。OpenAI用户的兼容层。

免费栈覆盖什么

提示词和模型的回归测试（Promptfoo）。基于指标的评分（DeepEval、RAGAS）。带评估的生产监控（Langfuse、Phoenix）。基础模型基准（lm-evaluation-harness）。

缺口在哪

托管便利：没有SSO、没有零运维托管——服务器自己跑。团队协作UI：免费工具默认你懂git和命令行。大规模人工标注：企业工具带标注工作流，开源要你自己建。支持：你就是支持团队。

组装指南

Promptfoo进CI——每次提示词改动跑测试套件。DeepEval或RAGAS做开发期指标评分。Langfuse自托管进生产——追踪、成本、采样上的LLM-as-judge。选基础模型时用lm-evaluation-harness。小团队总基础设施成本：一台VM（每月10-20美元）。这就是全部预算——覆盖了多数团队每月付500美元以上的东西。

FAQ

开源评估栈能上生产吗？ 能——Langfuse和Phoenix在很多公司生产运行；你用便利换控制。 七个工具都要吗？ 不用——从Promptfoo加Langfuse开始；跑RAG加RAGAS，选基础模型加lm-evaluation-harness。 难在哪？ 纪律——每周写测试用例和看分数。工具不会替你养成习惯。