AI Agent输出验证:Agent说什么你都信?
🩺 摘要
Agent输出格式不对→程序崩溃。Agent输出内容不对→用户投诉。输出验证层是Agent上生产前的最后一道防线。
📝 详情
上周我的Agent输出了一段JSON给前端——少了一个逗号,前端直接白屏。从那次之后,所有Agent输出都加了验证层。
验证什么
1. 格式验证 如果是JSON、XML、Markdown——验证格式是否正确。
def validate_json_output(output: str) -> bool:
try:
json.loads(output)
return True
except json.JSONDecodeError:
return False
2. 内容验证 有没有不该出现的内容?(暴力、歧视、敏感信息)
3. 质量验证 输出太短了?太长?跟历史质量差别太大?
验证失败怎么处理
if not validate(output):
retry_count += 1
if retry_count > 3:
return "暂时无法处理,请稍后再试"
else:
return agent.run(prompt + "[注意:请确保输出正确格式]")
总结
没有输出验证的Agent就像没有测试的代码——上线了才知道有没有问题。 验证层不复杂,但能挡住90%的生产事故。
💬 评论 (0)