AI Agent自动化测试:给Agent写单元测试,保证不改坏

📘 AI教程 💬 🔥 Trending

🩺 摘要

改了一行Prompt,原来能跑的用例全挂了。Agent也需要自动化测试——不改坏已有能力。

📝 详情

Agent测试三个层次

L1:单元测试 — 每个工具单独测。输入A应该输出B。

L2:集成测试 — 工具链是否走得通。Agent拿到A能否完成整个任务拿到B。

L3:回归测试 — 改了Prompt后,原来100个测试用例还有多少个能过。

测试用例示例

def test_search_tool():
    result = search_products("organic coffee")
    assert len(result) > 0
    assert "price" in result[0]

def test_full_agent_flow():
    result = agent.run("找一个300元以下的有机咖啡")
    assert "product" in result
    assert result["status"] == "success"

回归测试自动跑

每次改Prompt后自动跑测试集。成功率从95%掉到80%?Prompt改坏了,回退。

总结

没有测试的Agent代码改起来心惊胆战。20个核心用例就能覆盖80%的场景。