AI Agent自动化测试:给Agent写单元测试,保证不改坏
🩺 摘要
改了一行Prompt,原来能跑的用例全挂了。Agent也需要自动化测试——不改坏已有能力。
📝 详情
Agent测试三个层次
L1:单元测试 — 每个工具单独测。输入A应该输出B。
L2:集成测试 — 工具链是否走得通。Agent拿到A能否完成整个任务拿到B。
L3:回归测试 — 改了Prompt后,原来100个测试用例还有多少个能过。
测试用例示例
def test_search_tool():
result = search_products("organic coffee")
assert len(result) > 0
assert "price" in result[0]
def test_full_agent_flow():
result = agent.run("找一个300元以下的有机咖啡")
assert "product" in result
assert result["status"] == "success"
回归测试自动跑
每次改Prompt后自动跑测试集。成功率从95%掉到80%?Prompt改坏了,回退。
总结
没有测试的Agent代码改起来心惊胆战。20个核心用例就能覆盖80%的场景。
💬 评论 (0)